【北斗】多模态大语言模型算法研究员

Job description

【愿景】 建成全球持续领先、客户长期信赖的履约技术平台，打造市场首选、社会认可、服务10亿用户的配送品牌。 【你将参与】 方向一：多模态Agent技术体系研究与落地 1.面向真实业务场景，设计并构建多模态Agent技术体系，覆盖图像、视频、文本、语音等多源信息理解，以及任务规划、工具调用、多轮交互、跨模态推理、自我反思与纠错等核心能力。 2.围绕复杂业务任务，抽象多模态Agent的关键问题与模式，探索视觉感知、复杂推理、工具协同和任务执行的一体化优化方案，提升Agent在真实场景中的准确性、鲁棒性与执行效率。

方向二

多模态模型训练与后训练优化 1.负责多模态大模型及Agent模型的训练与优化，包括多模态指令精调、偏好对齐、奖励建模、过程监督等方向，提升模型在视觉理解、视频分析、图文推理、工具调用和复杂任务执行中的能力上限。 2.参与多模态训练数据与反馈数据建设，包括图文/视频数据清洗、合成数据构建、标注流程设计、偏好数据生产、评测数据沉淀等，支撑模型持续迭代。

方向三

多模态评测与业务闭环建设

• 设计覆盖多模态Agent行为、模型感知能力、跨模态推理能力、工具调用能力和业务效果的评测体系，建立自动化诊断与归因链路。
• 与业务团队深度协作，构建训练—评估—迭代闭环，将多模态Agent能力落地到真实业务流程中，并转化为可量化的线上收益。 【任职资格】 必备条件： 1.2027届计算机、人工智能、数学、统计、电子信息、自动化等相关专业，本科及以上学历，博士/硕士优先。 2.扎实的机器学习与深度学习基础，熟悉Transformer、Vision Transformer、CLIP、VLM、MLLM等主流多模态模型架构，具备独立阅读和复现顶会论文的能力。
• 熟练掌握Python及PyTorch/JAX等主流深度学习框架，具备清晰的代码工程意识和端到端实验能力。
• 对多模态大模型训练流程有系统性理解，熟悉视觉编码器、语言模型、跨模态对齐、图文/视频数据构建、多模态指令微调等关键环节。
• 对多模态Agent构建有深入理解，熟悉任务规划、工具调用、视觉感知、跨模态推理、多轮交互、记忆机制与失败模式分析。

加分项

• 在NeurIPS、ICML、ICLR、CVPR、ICCV、ECCV、ACL、EMNLP等顶会发表过论文，含在投，或有被广泛使用的开源项目。
• 参与过大规模多模态模型训练，或对分布式训练、推理优化、量化、蒸馏、投机解码、多模态Serving优化等有动手经验。
• 具有跨学科视野，能够将运筹优化、时空建模、视觉感知、因果推理、强化学习等方法引入多模态Agent与后训练体系。 【为什么是我们】

真实战场

• 千万级日订单、百万级骑手，提供业界罕见的Agent大规模真实落地环境，不止是玩具Demo。

资源保障

• 充足的GPU集群资源，支持千卡规模的后训练实验，让想法落地不被算力卡脖子。

成果导向

• 团队鼓励发表顶会论文，内部有完善的学术合作通道。

高密度氛围

• 团队论文产出稳定，曾获美团技术突破奖、啃下硬骨头奖等荣誉，与多所顶尖高校保持长期联合研究。