Model Serving开发实习生

Job description

• 负责大模型推理服务平台的架构设计与核心模块开发，实现 Serverless Model 与 GPU 池化技术，通过模型实例的秒级启停和显存复用，显著降低推理成本；
• 研发弹性高效推理引擎（Scaling-efficient Engine），集成显存池管理、分布式 KV Cache 传输、主机内存预取、模型权重格式转换、CUDA Graph 缓存等关键技术，实现模型权重的快速换入换出和推理实例的秒级启动；
• 负责大模型推理服务平台与批量推理平台的架构设计与核心模块开发，支持离线批量推理、定时任务、高吞吐异步推理等场景，实现任务级与请求级资源的统一调度与管理；
• 设计并实现分布式KV缓存池，用于高效存储与复用推理过程中的 KV Cache，支持跨节点、跨模型的 KV Cache 共享与传输，显著降低重复计算开销，提升 Prefix Cache 命中率与推理吞吐。
• 本科及以上学历，计算机相关专业优先；
• 熟悉至少一种编程语言（如 Golang、Java、Python 等），具备扎实的系统编程与性能调优能力，具备VibeCoding编程认知；
• 掌握 Kubernetes、Docker 等云原生技术，对 Serverless 架构与 GPU 资源调度有深入理解，有大规模在线服务系统开发经验者优先；
• 熟悉 PyTorch、TensorFlow 等机器学习框架，掌握 vLLM、TensorRT-LLM、FasterTransformer、SGLang 等推理引擎中的至少一种，有实际性能优化经验；
• 熟悉 GPU 架构与 CUDA 编程基础，了解显存管理、Kernel 优化、CUDA Graph 等技术，有大模型推理加速经验者优先；
• 具备优秀的分析问题和解决问题的能力，对 AI Infra 技术有热情，能主动跟踪前沿技术并落地实践。

加分项

1、参与过 GPU 虚拟化、显存池化或容器化相关项目； 2、在 MLSys、OSDI、SOSP 等顶会发表过论文，或有重要开源项目贡献（如 vLLM、Ray、PyTorch 等）。