微信小程序-大模型infra工程师-Coding方向

Job description

Responsibilities

• 负责分布式训练基础设施的建设、优化与维护，优化训练过程中的显存管理、计算资源调度与分布式通信效率，提升训练速度与资源利用率，支撑算法研发与模型训练；
• 负责微信小程序 Coding Agent 场景下 LLM 推理服务的建设与优化，涵盖 vLLM / SGLang 等框架适配、请求调度、KV Cache 管理、Prefill-Decode 分离、长上下文推理、投机解码等核心能力建设；
• 负责 GPU 资源管理，通过资源精细化分配和灵活调度提升整体利用率。 Requirements
• 熟练掌握 C / C++ / Python 等至少一门编程语言，具备扎实的数据结构和算法功底，有良好的工程素养；
• 熟悉主流分布式训练框架（DeepSpeed / Megatron-LM / FSDP 等），理解常见的显存优化技术和训练加速手段，有异步强化学习训练框架开发经验者优先；
• 熟悉主流 LLM 推理服务框架（vLLM / SGLang 等），理解 KV Cache 管理、Prefill-Decode 分离、Continuous Batching、投机解码等推理优化技术，有推理链路性能调优与线上稳定性治理经验；
• 具备快速学习能力，有团队合作精神，对探索前沿技术有热情。