TIONE-AI Infra 后台研发工程师

Job description

Responsibilities

• 负责基于 Kubernetes 的大模型推理云原生平台建设，主导推理场景下的 K8s 调度、资源管理与核心插件 （Operator / CSI / CNI / 设备插件）研发，构建高弹性、多租户、异构算力统一调度的大模型推理服务平台， 支撑混元及第三方模型高效、稳定上线；

云原生推理平台架构

• 基于 K8s 主导 TIONE 推理平台控制面与数据面架构设计，构建高弹性、多租户的大模型推理服务，覆盖模型部署、弹性伸缩与推理调用全生命周期；

K8s 调度与资源管理

• 深度定制 K8s 调度器（Scheduler Framework / 调度插件），实现 GPU / NPU 拓扑感知调度、优先级抢占、配额与算力池化；落地 GPU 共享虚拟化与弹性伸缩（HPA / KEDA）；

Operator 与 CRD 开发

• 设计推理平台核心 CRD（Model / InferenceService / Deployment 等）与 Controller，基于 controller-runtime 实现生命周期管理、状态协调与故障自愈；

设备插件 / CSI / CNI

• 开发 GPU / NPU 设备插件（Device Plugin）完成异构算力发现与分配；落地 CSI 存储插件支撑模型与 Checkpoint 高效挂载；集成并定制 CNI（RDMA / RoCE 高性能网络）保障推理 Pod 网络与跨节点通信。 Requirements
• 本科及以上学历，计算机、软件工程、电子信息等相关专业； 3年以上后台 / 分布式系统研发或 K8s 云原生平台开发经验；
• 精通 Go 语言（核心），熟悉 C++ / Python；具备大型分布式系统与高并发、高可用服务设计与编码能力；

深入理解 Kubernetes 核心机制，包括但不限于

• Scheduler Framework、CRD / Operator（controller-runtime）、Admission / Webhook、Device Plugin，以及 CSI / CNI 插件原理与开发；
• 熟悉 GPU / NPU 资源管理（设备插件、共享 / 虚拟化、拓扑调度）与高性能网络（RDMA / RoCE、CNI 定制）；有主流推理框架（vLLM / TensorRT-LLM / SGLang）集成经验者优先；
• 加分项（优先条件）；
• 有大规模 K8s 集群、多租户算力平台，或存储 / 网络 / 调度器二次开发落地经验；
• 具备昇腾 / 海光 / 天数等国产 AI 芯片云原生适配与优化经验；
• 主导或深度参与开源云原生项目（Kubernetes / Volcano / KubeFlow 等）并有社区贡献。