大模型预训练数据算法专家

Job description

• 主导预训练数据全链路闭环建设，包括但不限于数据理解、数据处理、数据价值判定、多样性建设、数据实验以及评估方法和评估指标建设。
• 建立多维度预训练数据体系，包括质量、多样性、困惑度、有用性、复杂度等。
• 建立"数据-模型"的全链路归因分析能力，通过消融实验和量化分析，深度研究不同数据源及质量对模型下游任务能力的影响以及用更少的数据量达到更优的模型效果。
• 持续跟踪学界与业界在Data Selection、Data Pruning等方向的最新进展，并推动技术落地。
• 具备强烈的好奇心与自驱力，对AI数据体系建设与模型优化充满热情，能够从全局视角思考数据与模型的关系。
• 深入理解大模型预训练基本原理，具备优秀的数据敏感度与指标设计能力；对"什么样的语料是好语料"有深刻的直觉和判断力，对预训练数据特性、分布及Scaling特性有深刻洞察。
• 有开源/闭源LLM预训练数据建设经验者优先。
• 在NeurIPS、ICML、ICLR、AAAI、ACL、EMNLP等顶级会议以第一作者发表论文者优先。
• 你的工作直接决定万亿大模型的效果天花板 —— 预训练数据质量是影响模型能力的最底层变量，这个方向持续重要且极富挑战，您在做"最核心的事”的同时，是在挖掘大金矿。
• 超大规模数据工程实战 —— 万亿级网页、百亿级文档等您挖掘，您积累的系统设计和优化经验，具有极强的稀缺性与市场价值。
• 学术与业务双驱动 —— 团队技术氛围浓厚，鼓励技术创新、突破以及成果转化；核心技术有机会在顶会发表，业务落地与学术产出双向驱动。