训推平台及引擎工程师

Job description

工作地点

上海 推理优化方向：

负责模型推理性能调优

• chunked prefill、continuous batching、KV cache压缩
• 开展模型量化实验（INT4 QAT/GPTQ/AWQ），验证精度与性能平衡
• 维护推理服务基准测试套件，持续跟踪TTFT/TPS/并发指标
• 主导多模型（Kimi、Deepseek、Qwen、GLM、Minimax）的部署与适配

建立模型评测框架

• 覆盖编码（SWE-bench/LiveCodeBench）、长文本（MRCR/LongBench）、通用能力
• 跟踪国内外主流模型动态，定期输出模型选型建议

执行模型对比实验

• 推理性能、精度、成本的综合评估
• 维护模型部署兼容性矩阵（SGLang/vLLM × 各模型 × 各GPU）

撰写模型评估报告供管理层决策参考 模型研发方向

• 负责AI模型的部署、模型服务运维、稳定性保障，模型参数调优
• 大模型推理、CV模型推理相关配套中间件介入
• 协助模型算法工程师解决模型在服务环境中的问题

学历要求

• 本科及以上学历，计算机、软件工程、人工智能、自动化等相关专业优先。

专业要求

• 计算机科学与技术、人工智能、软件工程、数据科学与大数据技术等理工科专业。

英语听说读写要求

• 具备良好的英语阅读与检索能力，能够流畅查阅AI前沿技术文档 项目经验、关键技能要求：
• 熟悉主流大模型推理框架（如 vLLM、SGLang 等）及基本原理（如 Continuous Batching、KV Cache）。 了解模型量化（如 INT4、GPTQ、AWQ）或性能压测、基准测试（如 TTFT、TPS）的基本概念。 有相关的大模型部署、优化实验或实验室项目经验者优先。

软性素质要求

• 对大模型底层推理技术充满热情，具备钻研精神和较强的动手实践能力；良好的团队合作与沟通能力。