大语言模型训练研究员

Job description

岗位职责

• 参与大语言模型的预训练全流程研发，包括数据清洗与配比、训练策略设计、并行训练优化、训练稳定性与收敛性调优；
• 负责模型后训练技术体系建设，涵盖监督微调（SFT）、奖励模型训练、RLHF、DPO、ORPO、PPO 等对齐算法的实现与迭代；
• 设计并执行模型评测方案，从通用能力、垂直领域能力、安全性、对齐效果等维度量化模型性能，输出迭代方向；
• 跟进预训练与后训练方向前沿技术，持续引入新方法优化模型效果与训练效率；
• 配合工程团队完成训练流水线、数据管线的自动化与平台化建设。

岗位要求

• 博士及以上学历，计算机、人工智能等相关专业，1-2 年大模型训练或 NLP 算法研发经验；
• 精通 Transformer 架构原理与大语言模型训练流程，深入理解预训练目标、位置编码、归一化、注意力机制等核心组件；
• 具备完整的预训练或后训练项目经验，熟悉 SFT、RLHF、DPO 中至少一种对齐技术的原理与工程实现；
• 熟练使用 PyTorch，掌握 Megatron-LM、DeepSpeed、ColossalAI 等至少一种分布式训练框架，了解数据并行、张量并行、流水线并行等策略；
• 熟悉中文 / 英文预训练数据处理流程，具备数据去重、清洗、质量评估等实践经验；
• 具备较强的问题定位与调优能力，能独立排查训练中的收敛异常、显存与性能瓶颈；
• 有百亿参数以上规模模型完整预训练或对齐训练经验优先；
• 熟悉 FlashAttention、MoE、量化训练等性能优化技术、参与过开源大模型项目，或在相关领域有顶会论文 / 技术博客产出优先。