大模型推理优化工程师

Job description

• 参与大模型推理优化和计算框架的设计与开发，探索提升推理效率的技术方案；
• 学习并应用量化、并行计算、访存优化等方法，协助优化模型推理时延和吞吐；
• 参与模型性能分析与调优实践，定位并解决性能瓶颈问题；
• 参与自动化工具和流程的开发，简化模型推理部署流程；
• 跟踪大模型推理领域最新研究进展，提出创新想法并推动落地。

Qualifications

• 计算机、数学、人工智能等相关专业本科及以上学历，2027届毕业生；
• 扎实的编程基础，熟练掌握 C++/Python，有良好的代码风格和工程习惯；
• 了解机器学习/深度学习基础知识，熟悉 PyTorch 等主流框架；
• 对大模型推理优化方向有浓厚兴趣，了解 vLLM、SGLang 等推理框架者优先；

有以下任一经验者优先

• 参与过开源项目或推理框架社区贡献；
• 有 CUDA/GPU 编程、高性能计算相关实践经验（有github相关项目）；
• 有模型量化（GPTQ/AWQ/FP8等）、算子优化、内存优化等方向的实践或研究经历；
• 有投机采样（Speculative Decoding）、Medusa/EAGLE/MTP/DFlash 等加速解码相关经验；
• 有强化学习（RLHF/GRPO/DPO）训练或推理相关经验；
• 具备学术论文阅读与复现能力；
• 良好的学习能力、沟通能力和团队协作精神。