基座大模型算法研究员 (Mid-training)

Job description

大规模高质量数据体系与合成数据建设 数据体系构建

• 建设 Trillion 级别的大规模跨模态数据处理与合成链路。负责从数据清洗、去重、质量评分到动态配比建模的全流程优化。

合成方法演进

深入探索大规模合成数据 (Synthetic Data) 与自蒸馏 (Self-distillation) 技术，针对复杂逻辑推理、代码生成及多模态场景，制定Pre-training与 Mid-training 阶段的合成数据应用策略。

理论探索

研究 Data Scaling Laws，解决数据扩展中的模型坍塌（Model Collapse）与多样性瓶颈问题，通过课程学习（Curriculum Learning）等多阶段训练策略，显著优化 Token/FLOPs 转化效率。

长上下文 (Long Context) 与高效架构演进 长窗口突破

• 持续 Scaling Up 模型的 Context Length，优化超长上下文机制。重点提升 LongCat 等基座模型在长文理解、长程推理、创作等任务上的表现。

架构优化

探索并验证 MoE（混合专家）、稀疏注意力（Sparse Attention）、线性注意力等高效模型结构；结合模型剪枝与稀疏化技术，协同优化训练与推理效率，降低超长上下文场景下的资源开销。

多模态能力融合与 Agent 赋能 模态融合

• 探索多模态预训练新范式（如 Early Fusion、统一建模），突破模态融合瓶颈。利用多模态扩展定律指导数据与训练方案，提升模型在多语言、多模态交互场景下的原生能力。

复杂场景落地

面向 Agent、具身智能等前沿场景，提升模型的多模态指令遵循与复杂任务规划能力。

下一代训练范式与前沿技术探索 自进化机制

• 协同上下游团队，探索持续学习（Continuous Learning）与模型自进化（Self-evolution）机制，研究多模态奖励模型与大规模RL在 Mid-training 阶段的应用。

能力扩展

研究推理阶段扩展（Test-time Scaling）及全模态链式思维（Omni-modal CoT），推动模型从单纯的“知识记忆”向“深度推理与问题解决”演进。 对大模型开发流程有深入认知，熟悉预训练、指令微调、RL等流程与框架； 对Dense和MoE等模型架构有深入理解并拥有大规模训练经验 具备扎实的算法和数学理论基础及良好的编程基础，熟悉自然语言处理、生成式AI和机器学习等技术，熟悉Python、Java等至少一种编程语言，熟悉PyTorch等深度学习框架，对技术开发及应用有热情； 目标感强，善于分析和发现问题，拆解简化，有想法并乐于挑战自我，能够从日常工作中发现新的空间； 条理性强且有推动力，能够梳理繁杂的工作并建立有效机制，推动上下游配合完成目标。 团队扁平，人才密度高，美团“北斗计划”和博士员工比例高，近年团队在ICLR、NeurIPS、ICML、ACL等顶会累计发表论文50余篇，团队员工获EMNLP 2024 Outstanding Paper、ACL 2025 Outstanding Paper，吴文俊人工智能奖科技进步奖、CCF科技成果奖等荣誉激励。

参与大语言模型、多模态大模型核心技术研发，接触全模态融合、超长上下文等前沿技术。 参与探索高效模型架构创新，参与大模型全链路核心技术研发，接触模型设计、分布式训练和推理优化等前沿技术。 充足算力保障，拥有大规模分布式训练环境和丰富数据资源。