顶尖应届-大模型推理框架研发工程师-AI 基建

Job description

1、负责基于 SGLang 等技术的大模型推理框架的开发工作，包括但不限于设计和实现高效的推理引擎架构，优化推理过程中的计算流程，提高推理性能。以满足不同规模大模型的实时推理需求 复杂大模型框架性能评估和调优工作，构建并完善性能监控体系，通过实时监测训练指标，定位性能瓶颈，提出优化方案，确保在不同硬件上达到最优性能。 2、负责Cuda Kernel优化，开发高性能的GPU算子, 提升大模型推理性能。

Qualifications

• 计算机/电子/数学等相关专业硕士及以上学历；
• 精通C/C++，熟悉Python，具备扎实的数据结构与算法基础，ACM/ICPC、NOI等竞赛获奖者优先；
• 熟悉NVIDIA GPU架构及编程模型，掌握CUDA核函数优化、显存管理、多流并发等技术，有实际性能调优经验；
• 熟悉PyTorch、Megatron、vLLM/SGLang等深度学习训练和推理框架；
• 有分布式系统开发经验，熟悉MPI、NCCL等通信库，或参与过大模型训练/推理项目者优先。