【大模型北斗实习】代码大模型

Job description

随着AI技术的突破，代码大模型正成为软件开发领域的核心驱动力。基于LLM的代码生成工具已实现从自然语言描述到高质量代码的自动化生成，带来开发效率的大幅提升。本课题旨在打造行业的代码大模型，并推动Coding Agent在实际应用场景落地。

研究内容

1）通过代码pretrain、continue train、SFT、RL等手段，提升大模型的代码能力。 2）构建高质量代码语料库，涵盖多语言、多场景的工业级代码数据。 3）研发Coding Agent，支持代码生成、编辑、单测生成等领域的落地应用。 1）熟悉NLP、LLM、MLsys、Optimization、OR、Control、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实际项目经验。 2）熟悉Python等至少一门编程语言，熟悉LINUX环境。 3）熟悉Pytorch、 Megatron、DeepSpeed 等开源训练框架。

加分项

1）有影响力的开源项目中做出过核心贡献。 2）发表过高水平论文优先（如NeurIPS,ICLR,ICML,ACL,EMNLP等）。 3）KDDCup等业界知名机器学习比赛中获奖经历。