【大模型北斗实习】多模态大模型复杂推理

Job description

多模态推理是大模型迈向通用人工智能的关键能力，涉及跨视觉、语言等多种模态的信息整合与深度理解。本课题聚焦于探究多模态生成式大模型的复杂推理发生机制，研究模型如何协同处理、融合和推理来自不同感知通道的信息，从而提升在复杂任务中的认知表现。

研究内容

1）多模态复杂任务推理机制探究：探索强化学习机制，激发推理思维链策略，分析不同模态间信息融合在复杂跨模态推理中的作用，研究视觉-语言长距离依赖关系建模方法。 2）多模态复杂推理与通用任务有效统一范式研究: 分析通用多模态通用任务与复杂推理任务的区别与联系，探索使用单一模型有效统一两者的范式，实现模型自适应地根据不同问题来进行不同长度的思考回答。 1）在CV、NLP、多模态等相关领域有其中一个或多个方向有深入的研究经历。 2）熟悉TensorFlow、PyTorch等深度学习框架。 3）熟练使用Python、C++等至少一门编程语言，熟悉LINUX环境。

加分项

1）有影响力的开源项目中做出过核心贡献。 2）发表过高水平论文优先（如NeurIPS,ICLR,ICML,CVPR,ICCV,ECCV等）。