【大模型北斗实习】生活服务领域基座增强技术研究

Job description

本课题探索大模型垂直领域知识高效增强方法，包括数据策略、训练策略以及scaling law友好的训练方法，打造适配实际应用所需的基座能力。

研究内容包括但不限于

1） 大模型基座知识能力增强，通过大规模continue pretrain打造生活服务领域基座，赋能美团各类大模型应用场景。 2）探索预训练增强阶段的大规模高质量数据自动合成、Scaling Law、长链条复杂推理反思能力增强。 3）建设生活服务chat模型与智能体，通过强化学习等方式增强模型推理反思、复杂指令遵循、高情商交互等能力，支撑大模型在生活服务领域的应用。 1）对NLP、大模型等相关领域一个或多个方向有深入的研究经历，且有相关实际项目经验。 2）熟练使用深度学习框架（比如PyTorch），熟悉 Megatron、DeepSpeed 等开源训练框架。

加分项

1）在知名开源项目中有核心贡献者优先。 2）有过预训练经验、深度推理、强化学习等方向的经验。 3）发表过高水平论文。