混元训练 Infra 工程师-Dataloader/Checkpoint 方向-（北京/深圳/上海/杭州）

Job description

分布式 Dataloader

• 多源数据加载框架研发，优化预处理流水线、IO 瓶颈与数据倾斜，对接对象存储 / 分布式文件系统，支持动态采样与增量更新；​；

Checkpoint 管理

• 设计高吞吐存储 / 加载方案，优化压缩、分片与冷热分层，实现版本管理、备份恢复与分布式训练框架兼容；​；

系统优化

• 监控吞吐 / 延迟 / 显存指标，定位性能瓶颈，保障极端场景下训练连续性；​；

跨团队协作

• 对齐业务需求，沉淀技术最佳实践。​。 Requirements
• 本科及以上学历，3 年 + AI Infra / 分布式系统 / HPC 经验；​；
• 精通 Python/C++，深入理解 Linux 内核、IO 模型，熟悉 PyTorch（优先）及分布式训练原理；​；
• 有分布式 Dataloader 研发与 IO 密集型任务优化相关经验；​；
• 有 checkpoint 存储 / 加载 / 压缩优化相关经验；​；
• 熟悉对象存储 / 分布式文件系统与缓存、分片策略；​；
• 具备系统性能瓶颈分析与 GPU/CPU 优化案例。