大模型分布式训练自动优化

Job description

工作职责 致力于研究和开发软硬结合的大规模训练引擎优化技术，参与业界前沿的语言大模型、多模态大模型、CTR大模型等场景的训练引擎的开发优化。

• 参与CTR、LLM、多模态等大模型算法引擎、样本引擎以及大模型训练系统的设计、开发和优化，解决大规模训练的技术和性能问题；
• 针对大规模异构分布式算力和计算进行优化，提高计算效率和可扩展性；
• 深入零售核心算法业务，分析业务功能和性能痛点，设计合理的技术优化方案并实际落地；
• 探索训练引擎、数据引擎的前沿理论和技术发展方向，打造京东在该领域的影响力。 任职要求
• 获得本科及以上学历，计算机、人工智能、自动化、数学、物理等相关专业；
• 在机器学习、自然语言处理、计算机视觉、多模态内容理解等至少一个领域内的算法或者系统优化有深入的研究，具备成熟的研究思维；
• 具备扎实的数据结构与算法功底，熟练掌握Python或C/C++编程技巧，具有良好的编程习惯以及工程与沟通能力；
• 掌握深度学习基础知识，了解常用的深度学习模型和算法，熟练使用常用的深度学习框架；
• 了解CUDA编程和GPU加速，有基于国产化芯片（如华为晟腾、寒武纪等）的深度学习框架开发和优化经验优先；
• 熟悉主流的分布式计算引擎，有分布式系统开发和调优经验优先；
• 有相关科研成果或者优秀开源项目者优先，如CCF-A论文（如OSDI、SOSP、SIGMOD、ATC、NIPS、AAAI、ICLR等）。