【基座大模型北斗实习】大模型训练研究

Job description

简介

大模型的能力上限，很大程度取决于训练系统的天花板。

我们在做的事

让千亿参数的模型在万卡集群上跑得更快、更稳、更省——把每一张GPU的算力榨干，把每一次训练崩溃的损失降到最低，把工程师等待结果的时间从“几天”压到“几小时”。 1、分布式训练框架优化 ①深入源码，针对美团训练场景做定制化改造。 ②设计和实现更高效的张量并行、流水线并行、数据并行混合策略。 ③探索 MoE（混合专家） 模型的并行训练方案，解决专家负载均衡、通信爆炸等硬问题。 2、计算效率优化 ①基于 CUDA / Triton 编写和优化高性能算子（FlashAttention、FusedMLP等）。 ②分析训练 profiling 数据，定位计算/通信/内存的瓶颈并针对性优化。 ③推进混合精度训练、梯度压缩等技术落地。

GPU编程

• 写过CUDA kernel，理解warp/SM/显存层次结构；

训练框架

• 用过或改过Megatron/DeepSpeed/FSDP，不只是跑过demo；

通信系统

• 了解NCCL原理，或有网络协议栈/RDMA相关经验；

编译优化

• 接触过 XLA/TorchInductor/TVM 等编译器，或做过IR优化；

顶会论文

• MLSys/OSDI/SOSP/ATC/ISCA 等系统顶会在手。