基础大语言模型

Job description

工作职责

• 参与大模型设计、预训练和后训练工作；
• 操控千卡以上GPU集群，对超大参数量级的模型进行高效分布式训练与优化；
• 持续保持技术领先优势，推动新技术应用于大模型训练，提升技术行业影响力。 任职要求
• 获得本科及以上学历，计算机、人工智能、自动化、数学、物理等相关专业；
• 对LLM网络架构有深刻理解、熟练使用Megatron、DeepSpeed等训练框架，并有针对性做性能调优；
• 具有大规模预训练工程实践；
• 相关领域顶级学术论文、优秀开源项目、高水平竞赛获奖者优先。