大模型训练平台研发实习生

Job description

核心平台建设

• 设计和研发支撑大规模分布式训练的基础设施平台，负责GPU集群的资源调度、生命周期管理及作业编排，提升资源利用率和训练效率；

稳定性与容错

• 构建自动故障感知、故障自愈与断点续训（Checkpoint 保存与恢复）机制，保障大规模训练的长稳运行，提升训练有效时间占比（MTBF/MTTR优化）；

可观测性

• 建设面向大模型训练的全方位可观测体系，采集和分析硬件（GPU、RoCE/IB网络）、存储及训练框架的性能指标，快速定位慢节点或故障点，实现训练状态透明化；

性能优化

• 结合训练框架（如 Megatron-LM、DeepSpeed）进行内核级优化，优化网络通信拓扑（如 NCCL）及存储I/O流水线，降低训练成本，提升模型训练吞吐；

资源效率

• 设计高效的集群混部和碎片资源利用方案，平衡多租户隔离与资源利用率，支持潮汐调度和弹性训练。

编程能力

• 扎实的编程功底，熟练使用 Python/Go/C++ 中的至少两种，具备高性能网络编程或系统级开发经验，能独立完成大型模块的设计与开发；

分布式系统

• 熟悉 Kubernetes 底层原理及 Operator 开发模式，有自定义调度器、控制器开发经验者优先；熟悉资源调度系统（Yarn/Slurm/K8s）架构及实现；

AI基础设施

• 了解常用AI框架（PyTorch）的分布式训练原理，熟悉 NCCL/RDMA 等通信库；对 GPU 架构（NVIDIA A100/H800等）有较深理解，有 CUDA 开发或性能剖析（Profiling）经验者加分；

网络与存储

• 了解分布式存储（如 Ceph、Lustre、JuiceFS、Alluxio）在大模型训练场景的适配与调优；熟悉高性能网络（RoCE/InfiniBand）原理及常见问题排查；

故障排查

• 具备极强的系统问题排查能力，能处理从内核、驱动、库到应用层的系统性故障，有大型集群稳定性保障经验。

加分项

• 有万卡规模 GPU 集群运维或建设经验；
• 对 PyTorch 源码有深入研究，或向社区提交过 Patch；
• 熟悉 Megatron-LM、DeepSpeed 源码，了解 3D 并行策略及实现；
• 熟悉 GPU 虚拟化、容器化技术（如 vGPU、CUDA MPS）及算力隔离方案。