高性能网络通信库研发工程师

Job description

通信算子开发

• 设计和实现大模型训练/推理场景下的高效集合通信算子（AllReduce、AllGather、ReduceScatter、AllToAll等）；

通信计算融合

• 设计通信与计算的overlap策略，实现计算通信并行，提升大模型整体训练/推理性能；

通信性能调优

• 针对不同硬件平台（GPU、NPU等）进行算子性能分析和优化，解决性能瓶颈问题；
• 参与AI通信库整体架构设计，制定技术方案和开发规范。 Requirements
• 计算机/网络通信/软件工程或相关专业，硕士及以上学历，3年以上网络通信相关工作经验；
• 精通C++/CUDA编程，熟悉Python开发；
• 具备分布式训练/推理的实践经验，理解数据并行、模型并行等策略，了解大模型架构（Transformer、GPT、LLaMA等）和推理优化技术；
• 具备良好的问题分析和解决能力，对前沿技术有强烈的学习兴趣和探索精神；责任心强，能够承受一定工作压力，具备良好的团队沟通和协作能力；
• 深入理解GPU架构和CUDA编程模型、有kernel优化经验者优先；
• 熟悉MPI、NCCL等通信库的原理者优先，具备RDMA verbs编程经验者优先。