大模型评测工程师

Job description

• 负责LLM、VLM、搜索推荐等大模型日常评测工作和评测体系建设，包括但不限于设计制定和完善评测方案、评测指标、评测数据收集和更新、评测执行，并输出专业评测报告，深度参与算法效果分析、挖掘问题归因；
• 以算法手段，对基座大模型、应用大模型以及AI产品进行分阶段、端到端效果评测，持续跟踪行业前沿发展，并进行竞品对比；
• 从可解释性角度探索提出更多更深入的基于模型内在机理的评测基准以及评测框架，包括通用能力、智能应用，如Agent、OpenClaw、CoWork等；
• 探索智能、高效的模型自动化评估方案，参与自动化评测工具设计、开发及维护；
• 提出更好的Benchmark，定义模型能力，定义AGI，并在相关会议或期刊发表；
• 站在用户角度，对产品、算法提出建设性的意见，在评测参与的各个流程中以用户视角保证产品体验。
• 本科及以上学历，计算机、通信、人工智能、大数据、统计等相关专业优先；
• 优秀的代码基础，至少掌握一门高级语言， 包括但不限于Python、C/C++、 Java；
• 具备良好的数据化思维，能够基于数据分析结果给出分析结论，熟悉ACC、AUC、F1、recall等基本的模型评估指标计算方式；
• 具备良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，逻辑清晰、善于分析与总结，对大模型技术有深厚的热情和探索精神；
• 具备良好的视野，善于学习新的知识、阅读论文、动手能力强、有进取心及抗压能力；
• 具有3-5年工作经验。

加分项

• 有参与大模型相关的项目（如LLM、VLM、搜索推荐、agent等任一均可）研发、评测经验优先，同时有大模型应用和research经验优先；
• 有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑；
• 熟悉常见算法、大模型评测基准、评测方法优先，如LLM-as-a-Judge；对主流大模型评测体系有较好的理解优先，如Bigbench、Harness、OpenCompass等；
• 对大模型技术、大模型评测感兴趣，认可大模型评测工作价值，愿意深耕在大模型领域。