[Skip to main content](#main-content) [OpenNash Jobs](https://jobs.opennash.com/) [Hiring report](/reports/hiring/) · [All Tencent Holdings jobs](https://jobs.opennash.com/companies/tencent-holdings/) · [Search jobs](/search/) Tencent Holdings · Shanghai # 大模型推理优化工程师（上海/深圳） Shanghai Listed on Tencent Holdings’s official careers site. Listed as of October 19, 2026. Check that it is still open and apply there. [Apply on Tencent Holdings’s careers site →](https://careers.tencent.com/en-us/jobdesc.html?postId=2095496373041545216) [OpenNash Jobs](https://jobs.opennash.com/) / [Tencent Holdings](https://jobs.opennash.com/companies/tencent-holdings/) / 大模型推理优化工程师（上海/深圳） ## Job description ### 背景 - 我们正在寻找专注于大模型推理优化的工程师，负责游戏业务中线上大模型服务的性能优化。您将参与从推理引擎优化到异构硬件落地的全流程，在低延迟、高吞吐的场景中支撑游戏大模型的在线推理服务，作为核心技术中台支持不同游戏项目的落地需求； ### 推理性能优化 - 围绕首 Token 延迟（TTFT）、生成吞吐、显存与算力利用率进行极致调优；应用量化（FP8、INT4/AWQ、MXFP4 等）、稀疏化等压缩技术，在维持模型推理效果的前提下降低推理成本； ### 推理引擎与算子优化 - 基于 vLLM、SGLang、TensorRT-LLM 等主流框架进行二次开发与深度优化，涉及连续批处理、PagedAttention、前缀缓存、KV Cache 量化与分级存储等关键能力；结合 CUDA/Triton 进行算子融合与计算图编译优化； ### 推理架构演进 - 探索 PD 分离、投机解码、MoE 专家并行等前沿架构，优化长上下文、长思维链与高并发场景下的推理效率； ### 算力适配 - 负责推理服务在算力上的部署、适配与调优，开展算子适配、显存管理与通信优化，构建跨硬件、可复用的推理加速方案； ### 性能分析与持续优化 - 建立推理服务的分析与监控体系，使用 Nsight 等工具进行 profiling 与瓶颈定位，监控推理服务的算力资源使用效率；与模型、agent、游戏引擎等多团队协作，结合游戏研发与运营的实际需求，持续优化推理成本。 Requirements ### 教育背景 - 硕士及以上学历，计算机、软件工程、人工智能或相关专业；在大模型推理优化、GPU 性能调优方向有丰富经验者优先； ### 技术能力 - ； - 精通 Python 与 C++，熟悉 Linux 开发环境，具备扎实的系统编程与算法基础； - 熟悉 PyTorch 等深度学习框架，深入理解 KV Cache、量化、前缀缓存等大模型推理优化机制； - 有 CUDA 编程或 GPU 性能调优经验，能使用 Nsight 等工具进行 profiling； - 熟悉主流推理框架（vLLM、SGLang、TensorRT-LLM 等），有二次开发或深度优化经验。 ## At a glance - Posted by the employer: Not stated - First seen by OpenNash: Oct 12, 2026 - Last checked: Oct 19, 2026 - Listed for: 7 days - Location: Shanghai[Apply on Tencent Holdings’s careers site →](https://careers.tencent.com/en-us/jobdesc.html?postId=2095496373041545216) ## More jobs at Tencent Holdings ### [3A修仙RPG游戏-主策划](https://jobs.opennash.com/companies/tencent-holdings/jobs/89e9be0bc8522a47c921/) Shanghai ### [3A动作冒险游戏-战斗主策划](https://jobs.opennash.com/companies/tencent-holdings/jobs/9a81d086671e92a54e73/) Shanghai ### [AI Infra研发工程师-上海/北京/深圳](https://jobs.opennash.com/companies/tencent-holdings/jobs/28bf4dec4ecc0f7de3c4/) Shanghai ### [AI 沙盒体验资深设计师（深圳/上海）](https://jobs.opennash.com/companies/tencent-holdings/jobs/e74c7711c05491c1126d/) Shanghai ### [AI产品海外解决方案架构师](https://jobs.opennash.com/companies/tencent-holdings/jobs/568fcdcf0fbc33d4bab0/) Shanghai ## Similar jobs at other companies ### [大模型推理优化工程师](https://jobs.opennash.com/companies/xiaomi/jobs/50d31bfad87918485e51/) Xiaomi · 北京 ### [大模型推理优化工程师-【可灵AI专项】](https://jobs.opennash.com/companies/kuaishou-technology/jobs/a8a8a04034b41bfc4ad0/) Kuaishou Technology · Beijing, Shanghai OpenNash lists jobs from employers’ own careers sites and does not handle applications. Dates come from the employer where stated; “first seen” and “last checked” are our own observations. OpenNash Jobs · Official listings with dates and links to the employer. [Weekly hiring report](/reports/hiring/) · [Methodology](/methodology/)