基座大模型算法专家

Job description

• 基座大模型预训练，包括但不限于不同规模、不同结构的语言模型和多模态模型的数据准备和优化、模型预训练、训练加速与框架优化等；
• 大模型对齐技术（SFT、RLHF等）链路整体优化，包括数据探索与增强、对齐流程探索、奖励模型优化、强化学习策略迭代等，持续提升对齐效果；
• 大模型训练和推理优化，包括但不限于高效训练技术和框架设计与实现、模型小型化技术（稀疏化、压缩、剪枝、蒸馏等）探索与落地、高效推理技术实现等；
• 大模型相关技术前沿探索，包括但不限于Scaling Law、模型架构探索（MoE、MAMBA等）、训练范式探索、长序列技术探索、高效训推框架探索等；
• 支撑内部应用需求，对接搜索、推荐、广告等实际业务场景，实现大模型应用落地。
• 对大模型开发流程有深入认知，熟悉预训练、指令微调、RLHF等流程与框架，具备模型预训练、对齐、训练和推理加速、模型小型化和部署等方面的经验；
• 熟悉Transformer等模型架构，对GPT系列、LLAMA系列和MoE等模型架构有深入理解并拥有大规模训练经验；
• 具备扎实的算法和数学理论基础及良好的编程基础，熟悉自然语言处理、生成式AI和机器学习等技术，熟悉Python、Java等至少一种编程语言，熟悉PyTorch、Tensorflow等深度学习框架，对技术开发及应用有热情；
• 目标感强，善于分析和发现问题，拆解简化，有想法并乐于挑战自我，能够从日常工作中发现新的空间；
• 条理性强且有推动力，能够梳理繁杂的工作并建立有效机制，推动上下游配合完成目标。 1. 团队具备良好的技术氛围，与志同道合的技术牛人一起工作； 2. 能够参与到大模型核心研发工作中，为AGI目标躬身奋斗。