混元大模型评测算法研究员（北京）

Job description

负责通用AI大模型相关的评测与应用的规划、落地以及平台化能力建设，包括但不限于

• ；

通用AI大模型评测基准的构建

• 建立覆盖文生文、多模态理解、多模态（音视频/3D/图/视频生成）生成等模态的评测基准，设计全面、准确的多维度指标，构建自动化评测工具链，并随着模型能力的演进持续探索全模态的评测基准；

评测数据的自动化生产能力构建

• 基于数据泛化等能力，构建领域增强型评测数据集生产链路，支持多模态场景的自动化数据扩增与效果验证；

自动化评测与归因分析

• 探索并实现各个模态大模型的自动化评测与模型缺陷归因机制。 Requirements
• 计算机或者相关专业硕士或者以上学历，2年以上CV/NLP/RL相关工作经验，有大模型调优化应用、评测经历者优先；
• 扎实的机器学习基础，能够熟练应用常用的机器学习模型解决实际的业务问题，有主流深度学习模型的项目(CV/NLP/推荐/广告/RL等均可）实践落地经验优先；
• 良好的逻辑思维能力, 数据分析能力，善于分析和解决问题；
• 在NearlPS，ICML、KDD、AAAI，IJCAI等机器学习领域会议或者期刊有第一作者发表过文章的优先。