【大模型北斗实习】预训练架构优化

Job description

本课题专注于大规模预训练场景下，分布式系统架构优化前沿技术探索。通过软硬件协同设计和算法工程联合优化，降低大规模预训练的成本和迭代周期。

研究内容包括但不限于

1）多维并行架构的优化，如流水线并行（PP）、张量并行（TP）、数据并行（DP）等并行架构在特定硬件、模型架构下的联合优化。 2）MoE 模型结构和训练工程架构的联合优化探索，如大量小专家场景的训练结构优化。 3）联合算法工程师深入合作，进行Attention机制的训练策略和架构优化探索，如线性注意力、稀疏注意力等，提升超长序列建模效果和训练效率。 4）优化多芯片架构、异地多机房环境下的异构训练系统，解锁大规模训练上推的单地域机房容量和电力限制。 5）FP8、FP4 等低精度浮点数下的训练策略和训练性能优化探索。

海内外高校在校学生，且以下条件至少满足一项

1）超级学霸：专业成绩排名前5%。 2）学术达人：在顶级期刊或学术会议上以第一作者身份发表论文（或导师一作，自己为二作）。 3）竞赛大神：在顶级大赛上获奖。 4）工程高手：有大厂实验室的实习经验，或有贡献突出的开源项目。