微信基础-大模型评测产品经理

Job description

评测体系设计

• 主导 AI 产品的评测体系搭建，定义评测维度、指标、标准和流程，确保评测的科学性和全面性；

评测方法论制定

• 设计适配不同场景（对话、工具调用、多轮交互、创意生成等）的评测方案，包括自动评测、人工评测、众包评测、竞品对比等；

评测平台产品设计

• 规划评测平台的产品架构和功能模块，输出 PRD，驱动研发团队落地；

评测洞察与决策支持

• 深度分析评测数据，发现产品体验问题和模型能力短板，输出有洞察力的评测报告，推动产品和算法团队优化；

竞品评测与行业跟踪

• 持续跟踪业界竞品的能力变化，建立常态化竞品评测机制；

标注体系管理

• 设计标注规范和质量控制流程，确保评测数据质量。 Requirements
• 本科及以上学历，计算机、统计学、心理学、语言学或相关专业优先，3 年以上产品经理经验；
• 具备 AI/NLP/对话系统相关评测工作经验，有评测体系从 0 到 1 搭建经验者优先；
• 熟悉 AI 产品评测的科学方法，包括评测指标设计、统计显著性检验、评分者一致性（Kappa/ICC）、A/B 实验设计等；
• 具备评测平台或数据平台的产品设计经验，能独立输出完整的产品方案；
• 对 LLM / AI Agent 产品有深刻理解，熟悉主流 AI 产品的能力边界和用户场景，具备一定技术背景者优先；
• 优秀的数据分析能力，能从海量评测数据中提炼关键洞察；
• 熟悉多模态（图像、视频、语音）评测方法和指标体系者优先；
• 有标注团队管理或众包平台运营经验者优先；
• 出色的文档撰写和跨团队沟通能力，能有效推动多方协作。