AI模型运维工程师

Job description

岗位职责

• 负责智算平台的大模型本地化部署、运维优化，承接算力平台模型推理服务运营；
• 负责通过弹性算法服务开展开源/闭源大模型的API接入、服务发布、灰度上线与版本管理，对接百炼等模型源；
• 负责模型服务监控告警体系建设，覆盖QPS、首Token时延、吞吐、显存占用、Token成本等核心指标；
• 负责模型服务压测、扩缩容与成本优化，支撑PD分离架构下推理集群的弹性调度与容量管理；
• 负责大模型网关、内容安全与合规评估落地，建立模型安全运营机制；
• 支持代码辅助、知识问答、流程提效等AI应用场景的模型选型、评测与落地；
• 负责模型服务日常巡检、故障处理与隔离恢复，主导线上故障复盘与SOP/Runbook沉淀；配合算力调度工程师完成GPU资源池规划，参与推理集群SLA保障与容量规划。

任职要求

• 计算机科学、人工智能、软件工程等相关专业本科及以上学历
• 具备3年以上AI模型推理服务运维或云原生平台运维经验，有千卡以上集群模型运维经验者优先；
• 熟悉主流私有云/公有云架构，有AI平台/模型即服务（MaaS）/大模型推理平台使用经验者优先；
• 熟悉Linux、Docker、Kubernetes等基础设施技术，熟悉Python/Shell脚本开发；熟悉vLLM/TGI/SGLang/Triton Inference Server等主流推理框架，了解量化（GPTQ/AWQ/INT8/FP8）、KVCache、Prefix Cache等优化原理；
• 有开源大模型（Qwen/DeepSeek/Llama等）部署、闭源模型接入、模型安全网关或内容安全治理经验者优先；熟悉Prometheus/Grafana等监控体系，具备SRE化运维与故障应急响应能力；
• 具备较强的硬件故障排查和解决能力，能够独立处理复杂的技术问题；
• 具备良好的沟通能力和团队协作精神，熟悉AI辅助编程协作工具链；
• 有强烈的责任心和敬业精神，能够应对紧急情况下的运维工作；