Infra推理框架研发工程师

Job description

Responsibilities

• 负责世界模型相关推理框架的研发和优化，适配最新开源模型，实现实时流式视频生成效果；
• 负责AI模型（尤其是大语言模型及多模态模型）在GPU上的核心算子的设计、开发与极致性能优化，支撑推理场景的高效运行。
• 研究并应用业界前沿的优化技术（如模型量化QAT/PTQ、算子融合、动态形状支持、FlashAttention等），并将其集成至推理引擎。

Requirements

• 熟悉主流推理框架vLLM、SGLang，熟悉推理优化相关技术，包括稀疏、量化、蒸馏、并行等。
• 具备GPU编程与高性能计算优化经验，深入理解GPU架构、并行计算原理、计算机体系结构，具备高性能计算内核的开发与优化经验。

算法基础

• 熟悉基础数学函数、线性代数、矩阵运算、数值计算等数学库相关算法，了解深度学习常见算子的计算方式。