AI 评测平台产品经理（可灵AI专项）

Job description

平台规划与建设

• 负责评测平台全生命周期管理，搭建涵盖评测集管理、推理执行、结果分析、人评/机评及上线准入的完整产品闭环。确保平台能高效适配并服务于可灵音视频、图片、VLM基座及Agent等重点业务线的评测需求；

评测方法落地

• 基于对大模型概念、主流评测方法及Benchmark的理解，协同算法团队将评测需求转化为平台功能，确保评测流程符合行业标准且具备工程可行性；

数据闭环驱动

• 主导评测集版本与质量管理，基于模型效果与线上反馈反向优化数据采集与生产流程；精准定位模型、数据、标注及链路问题，推动可追踪的改进闭环；

跨团队协同交付

• 作为算法、数据、工程及业务团队的枢纽，拆解复杂需求，管理优先级与交付节奏，把控关键风险，确保评测能力高质量落地。

经验背景

• 本科及以上学历，3年以上AI平台、算法中台或数据智能产品经验；必须具备模型评测、数据标注、算法质量管理或大模型应用落地的相关实操经历，熟悉AI研发全流程；

业务理解

• 熟悉"数据集—标注—训练—评测—上线—线上反馈"全链路，能准确定位各环节产品问题；

技术认知

• 深入理解大模型（LLM/VLM）基本概念，熟悉主流评测方法论及常见Benchmark体系，能够与算法工程师同频对话；

产品能力

• 具备结构化思维，能将抽象的模型能力与业务目标转化为可执行的产品流程与系统规则；独立主导需求调研、原型设计、上线验证及迭代复盘，推动多团队协作交付。

加分项

1、有视频生成/理解、图像生成、内容理解等方向的模型评测、Agent评测经验； 2、有VLM评测集建设、自动化评测、人机协同评测、模型对比分析或准入机制建设经验。