【基座大模型北斗实习】大模型多模态训练研究

Job description

简介

多模态训练pretrain和posttrain的前沿研究，可根据个人背景和研究兴趣选择以下方向之一深入推进：

• 超长序列的高效pretrain训练方案。
• 基于投机采样的方式加速多模态RL的训练效率。
• 针对compute use场景的大规模agentic RL 高效训练方案探索。
• 精通 C++/Python，熟悉 CUDA 编程、NCCL 通信库或 RDMA 网络优化；
• 具有很强的学习能力、复杂问题归纳梳理能力、沟通和团队协作能力，具备能够深度钻研技术的耐心；
• 至少深入研读过 Megatron-LM, vLLM, Sglang, VERL 其中之一的源码，并有过定制化修改或性能调优经历。

加分项目

1、有很强的学术研究能力和优秀的学术成果(AI领域顶会/顶刊论文)； 2、熟悉RL的基础算法，包括PPO、GRPO等经典RL算法。