【基座大模型北斗实习】大模型架构研究

Job description

简介

大模型架构优化探索，算法工程协同设计，涉及到训练和推理的各类算法和工程策略探索落地。

参与美团基座大模型项目，包含但不限于

• 大模型高效架构设计探索（高效attention，moe架构等）。
• 预训练 / 后训练算法工程策略。
• 投机推理算法工程策略。
• 模型轻量化策略（剪枝，量化，稀疏，蒸馏，结构搜索等） 。
• Agentic coding系统优化策略。
• 熟悉一些常用的深度学习框架和大规模训推框架（比如megatron，verl，vllm，sglang等等），在大模型上有训练和推理算法工程优化实际经验的优先；
• 熟悉机器学习和深度学习理论，具备扎实的编程能力，熟悉常见的主流大模型架构；
• 有大模型或机器学习相关顶会论文发表，特别是模型架构优化，训推策略相关的算法或工程论文优先。