Contemporary Amperex Technology · 宁德市, 福建, 中国
AI数据治理工程师
Listed on Contemporary Amperex Technology’s official careers site. Listed as of November 16, 2026. Check that it is still open and apply there.
Apply on Contemporary Amperex Technology’s careers site →Job description
岗位职责
- 负责大模型预训练及后训练数据处理体系的设计与建设,覆盖数据解析、清洗、去重、质量过滤及评估等关键环节,打造支持 TB 级及以上数据规模的高性能处理 Pipeline;
- 负责多源异构数据的解析与结构化处理,重点解决 PDF、网页、表格等复杂数据格式的内容抽取、版面识别及数据标准化问题,提升训练数据的准确性、完整性与可用性;
- 持续优化数据处理链路的性能与稳定性,结合分布式计算、存储优化及任务调度等技术,提升海量数据处理效率,保障数据生产流程的可扩展性与可靠性;
- 建立和完善数据质量评估与治理机制,探索数据去重、质量筛选及自动化处理等技术方案,持续提升高质量训练数据的生产效率与工程化水平。
岗位要求
- 本科及以上学历,计算机、软件工程或相关专业背景,具备扎实的编程基础、算法能力及系统设计能力,精通 Python,并熟练使用 C++、Rust、Go 中至少一种语言;
- 具备 TB 级及以上规模的数据处理与工程实践经验,熟悉 Spark、Hadoop、Ray、Flink 等分布式计算框架中的至少一种,能够独立进行大规模数据任务开发、性能分析与优化;
- 熟悉海量数据清洗、相似性检测与去重技术,理解 MinHash、SimHash、Embedding-based Deduplication 等算法原理及适用场景,具备数据质量过滤与处理链路优化经验;
- 熟悉分布式存储与海量数据 IO 处理机制,理解 Parquet、Arrow 等数据格式及其性能特点,具有高吞吐数据 Pipeline 设计、并发处理和存储访问优化经验;
- 熟悉文档解析、OCR、版面分析及内容抽取等技术,具备 PDF、网页、表格等非结构化或半结构化数据的处理经验,能够解决复杂文档解析中的工程问题;
- 具备良好的 AI 工程实践能力,能够熟练使用 AI 编程工具辅助研发,快速完成数据处理组件的设计、开发、测试与优化,注重代码质量、系统稳定性及可维护性;
- 具备大模型预训练、后训练数据集建设或高质量训练语料生产经验优先。
More jobs at Contemporary Amperex Technology
AI数智化产品工程师-集团运营中心
宁德市, 福建, 中国
AI数智化工程师-财务产品
宁德市, 福建, 中国
AI数智化工艺开发工程师
宁德市, 福建, 中国
AI数智化开发工程师
宁德市, 福建, 中国
AI智能体开发工程师
宁德市, 福建, 中国