【大模型北斗实习】大模型预训练数据构建理论与算法研究

Job description

本课题研究方向包括但不限于

1）构建端到端的网页文本内容提取系统，针对网络数据的复杂性，从系统效率和模型效果角度持续优化内容提取算法，迭代生产标准。 2）设计预训练数据的全局质量优化和治理方案，优化全局采样策略、隐私保护和安全合规，提升基座模型训练效率和最终效果。 3）建设多模态交错数据处理链路，通过数据分析和配比实验等手段优化多模态数据质量和多样性，支撑多模态大模型数据需求。 4）推动数据驱动的模型性能突破。 5）负责千亿级网页的大规模处理和万亿级token数据生产，通过分布式计算、模型量化及显存优化的方式提升数据处理和生产效率。 1）计算机科学、数据科学、自然语言处理等相关专业，具备大模型相关背景，在相关领域有深入研究经历并有实际论文产出或项目经验。 2）扎实的编程功底，熟练掌握TensorFlow/PyTorch/Megatron等深度学习框架，熟悉Java/C++等编程语言；熟练掌握大数据处理工具，如Spark、Flink、Ray等。 3）熟悉大模型训练流程，熟悉Transformer模型结构，对GPT/LLAMA/MoE等模型架构有深入了解。

加分项

1）有大模型预训练相关数据构建和处理项目经验者优先。 2）发表过高水平论文优先（如NeurIPS,ICLR,ICML,ACL,EMNLP等）。