【基座大模型北斗实习】大语言模型后训练前沿算法研究

Job description

简介

大语言模型后训练前沿算法研究包括但不限于：

对齐算法研发

• 包括 SFT 数据建设，指令微调等。构建高质量的训练数据，包括自动化数据清洗、合成数据生产、高质量 Prompt Engineering 等。优化模型复杂指令遵循、逻辑推理、创作写作、代码生成以及工具调用等能力，提升模型综合能力和用户体验。

人类偏好对齐

• 包括奖励模型、人类偏好对齐等前沿强化算法的探索和实践，提升模型在包括创意写作、对话风格以及模型内生安全对齐等人类偏好上的可控性，生成更符合人类价值观、逻辑习惯和审美偏好的内容。
• 跟踪并实现最新的后训练技术（如数据领域自动化配比、后训练机制设计和优化等）。
• 硕士及以上学历，计算机、人工智能、数学等相关专业，博士优先；
• 熟悉NLP、LLM、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实践经验；
• 有较强的分析和解决问题能力，能够自主探索、设计验证和推进落地。

加分项

1、在有影响力的开源项目中做出过核心贡献； 2、发表过高水平论文（如NeurIPS, ICLR, ICML, ACL, EMNLP等）。