面向电商大模型预训练与后训练的探索研究

Job description

工作职责

• 负责百亿到千亿级参数规模大模型的架构设计、预训练（Pre-training）及微调，提升模型在多语言及常识推理上的泛化能力。
• 结合电商海量商品图谱与客服日志，设计高效的RLHF/DPO/GRPO策略，解决电商场景下的幻觉问题，实现高精度知识注入。
• 探索并落地MoE架构、超长上下文记忆机制及RAG等前沿技术，在保证模型效果的前提下大幅降低训练与推理成本。
• 深入参与数据评估体系建设，负责大模型训练数据的筛选与标注，全程参与从指令微调到偏好对齐的模型优化工作。 任职要求
• 计算机科学、人工智能或机器学习等相关领域的本硕博在校生。
• 深入理解大语言模型（LLM）底层架构，具备大模型预训练（Pre-training）、指令微调（SFT）或强化学习实战经验。
• 具备扎实的编程基础，熟练掌握PyTorch及大规模分布式训练框架，能够应对海量数据的处理与模型调优。
• 对大模型底层技术（如MoE、注意力机制）有强烈探索欲，具备敏锐的前沿技术洞察力。
• 在自然语言处理或机器学习领域顶级会议有相关学术成果发表经历者优先。