【基座大模型北斗实习】大模型推理前沿研究

Job description

简介

打造 world class，production ready 的大模型推理引擎，可根据个人背景和研究兴趣选择以下方向之一深入推进：

• 异构硬件高性能推理算子研究与开发。
• Model System Co -design，充分利用硬件特性。
• Scale up & scale out 分布式推理系统设计，高效可靠的推理调度体系。
• 投机推理算法研究与落地。
• 模型/KVCache 量化算法研究与算子开发。
• 具有扎实的编程功底，熟悉 C++/CUDA 编程最佳；
• 深入理解 Transformer/MoE/Attention 等 LLM 概念；
• 熟悉 RDMA，PD 分离等技术；
• 有一手的开源推理引擎使用/开发/调优经验最佳。