Tione-高级后台研发工程师-上海/杭州/深圳/北京

Job description

负责腾讯云 AI 平台大模型推理服务的平台化建设

• 模型接入与版本管理、服务编排与一键部署、弹性扩缩容、流量调度与多租户隔离、灰度发布与容灾切换；

负责主流推理引擎的服务化部署与调优

• 完成引擎封装与参数调优（并行策略、批处理调度、KV Cache 与前缀缓存、量化模型加载等），持续优化 TTFT、TPOT、吞吐与单位 token 成本；

负责推理链路的稳定性与可观测性

• 指标采集与看板建设、容量评估与压测、SLO 保障、故障定位与根因分析；
• 参与异构算力部署适配（NVIDIA / AMD / 国产加速卡）及新技术落地（长上下文、多模态推理、PD 分离、多级缓存等），持续提升业务指标。 Requirements
• 大学本科及以上学历，计算机相关专业，3 年以上后台研发经验；熟悉 Linux 操作系统，熟练掌握 Go、Python 等开发语言；
• 熟练掌握容器与云原生技术栈（Docker / Kubernetes ），具备 GPU 集群上服务编排与资源调度的实践经验；
• 熟悉高并发、高可用分布式系统的设计与运营，掌握限流、熔断、优雅上下线等服务治理手段；熟悉 HTTP、gRPC、SSE 等协议，具备流式长连接场景下的问题定位能力；
• 具备良好的沟通表达能力及团队协作精神，有较强的主动性、责任心与执行力，能独立承担任务并具备系统进度把控能力；

加分项

• 了解 vLLM、SGLang 等推理引擎的核心机制（连续批处理、PagedAttention、前缀缓存、TP/PP 并行、PD 分离等），有部署、调优或性能定位经验。