【大模型北斗实习】多模态智能体算法研究与自主规划

Job description

自主任务执行的计算智能体是AI应用的重要场景之一，具备充分的技术深度(如浅层环境感知能力和深层规划决策能力)和广泛的应用价值(如智能助手、具身智能等)。本课题旨在构建业界前沿的多模态智能体，包括2D数字世界的Computer Use和Browser Use，以及3D物理世界的具身智能等能力。探索优化智能体在视觉理解、决策反思、强化学习等方向的技术挑战。

研究内容包括

1）智能体算法优化：提升智能体视觉定位和决策反思水平，探索强化学习在智能体决策的应用价值，构建2D数字和3D物理环境的环境感知能力。 2）Compute & Brower Use：探索多模态大模型自主规划完成计算机、手机、互联网网页的操作能力。 3）具身智能：探索多模态大模型的空间理解和自主规划能力，能够完成物理世界操作能力。 1）在CV、NLP、多模态等相关领域有其中一个或多个方向有深入的研究经历。 2）熟悉TensorFlow、PyTorch等深度学习框架。 3）熟练使用Python、C++等至少一门编程语言，熟悉LINUX环境。

加分项

1）有影响力的开源项目中做出过核心贡献。 2）发表过高水平论文优先（如NeurIPS,ICLR,ICML,CVPR,ICCV,ECCV等）。