千亿级大语言模型架构与分布式研究

Job description

工作职责

• 参与千亿级参数大语言模型（LLM）的核心架构设计、预训练与后训练全链路工作。
• 操控千卡以上规模的顶级GPU集群，对超大参数量级的基座模型进行高效的分布式训练与底层优化。
• 追踪业界前沿算法，推动新型网络架构与训练策略在大模型训练中的快速落地。
• 攻坚训练加速与性能瓶颈，通过技术创新与高水平开源持续提升团队在行业内的技术影响力。 任职要求
• 计算机科学、人工智能或机器学习等相关领域的本硕博在校生。
• 对LLM底层网络架构有深刻理解，熟练掌握Megatron、DeepSpeed等主流分布式训练框架。
• 具备针对超大规模集群的性能调优能力与大规模预训练工程实战经验。
• 具备强烈的极客精神与攻坚复杂系统Bug的韧性。
• 在人工智能领域的顶级学术会议有论文发表经历，或在优秀开源项目有核心代码贡献者优先。