AI Infra / 推理系统工程师

Job description

• 参与大模型训练、推理、部署、调度、监控等基础设施建设。
• 优化模型推理性能、资源利用率、服务稳定性和成本效率。
• 参与GPU/NPU资源管理、分布式任务调度、模型服务化、缓存和并发优化。
• 支撑大模型应用、Agent平台、训练平台和评测平台的基础能力。
• 跟踪推理框架、训练框架、云原生和高性能计算方向的技术演进。 岗位要求
• 本科及以上学历，计算机、软件工程、人工智能、自动化、电子信息等相关专业。
• 编程基础扎实，熟悉 C++、Python、Go、Rust 、Java中至少一门语言。
• 理解操作系统、计算机网络、分布式系统、数据库等基础知识。
• 对性能优化、系统稳定性、云原生、GPU计算或大模型部署有兴趣。
• 具备较强的问题定位和工程实现能力。 具有以下经验者优先
• 熟悉 Kubernetes、Docker、Ray、Slurm、Triton、vLLM、TensorRT等工具。
• 有CUDA、GPU编程、模型量化、推理加速经验。
• 参与过大模型部署、训练平台、推理服务或高并发系统项目。
• 了解MoE模型推理优化、KV Cache管理、Speculative Decoding等前沿方向者优先