多源异构数据的大模型持续预训练算法研究

Job description

工作职责

• 研究多源异构业务数据在大语言模型持续预训练（Continual Pre-training）中的有效融合与表征方法。
• 设计并验证海量业务数据的自动化筛选、高优清洗与处理处理链路。
• 探索并调优不同业务数据融入方式与训练策略，破解灾难性遗忘等技术瓶颈。
• 评估预训练数据对下游具体业务任务效果的实际影响，以技术驱动整体业务指标提升。 任职要求
• 计算机科学、人工智能、数据科学等相关领域的本硕博在校生。
• 精通大模型数据构建与训练核心流程，具备丰富的预训练（PT）与后训练实战经验。
• 具备独立开展前沿技术研究的能力，以及出色的科研逻辑素养。
• 具备优秀的复杂业务数据抽象能力与代码落地能力。
• 以第一作者身份在顶级会议（如NeurIPS、ICML、ICLR等）有相关学术论文发表经历者优先。