混元DataInfra 平台开发工程师（北京）

Job description

Responsibilities

1.负责Data部门整体数据工程通用框架和平台建设，统筹部门算力规划、解决全模态数据存储/计算处理的难点，做好方案选型，资源协调沟通，支持好数据算法团队的数据存储、计算、分析、可视化、实验的需求。 Requirements

• 有大模型预训练数据处理经验，能handle千亿量级的数据处理，对常用的数据工程技术如spark、hadoop、ray，文件存储系统有实践经验；
• 动手能力强，能熟练使用Agent及AI coding工具高效完成工作；
• 有丰富的数据工程架构设计经验优先；
• 有丰富的大模型预训练数据、后训练数据处理经验优先；
• 有基于Agent的数据生产链路研发经验优先。