【基座大模型北斗实习】大模型预训练数据科学与模型潜力前沿研究

Job description

简介

本课题聚焦于超大规模预训练数据的深度理解、提纯与价值挖掘，建立数据与模型能力之间的因果联系，打造下一代万亿基座模型的高效数据引擎，致力于提升基座模型的智能上限。

研究内容包括但不限于

• 研发基于模型的高效数据质量评估、去重与清洗算法，提高数据质量、多样性和覆盖度。
• 深入探究数据分布与模型能力的因果关系，建立“训练数据-模型效果”归因机制，探索并突破基座模型的能力上限。
• 探索自动化数据筛选机制、动态配比（Data Mixture）与多阶段训练范式，探索不同类型数据对模型能力的Scaling Law。
• 构建科学、多维度的基座模型能力和潜力评估，驱动预训练数据策略的优化，形成高效的数据迭代闭环。
• 硕士及以上学历，计算机、人工智能、数学、NLP等相关专业，博士优先；
• 在大模型领域有研究基础，或参与过有影响力的开源项目，在ICLR/NeurIPS/ICML/ACL等顶会发表论文者优先；
• 对大模型有浓厚兴趣，对“什么是好数据”有深刻洞察和理解，有较强的问题分析、自主探索和快速迭代的能力。