Tencent Holdings · Shenzhen

ima-AI评测产品经理(自动化评测与工具建设)(北京/深圳)

Shenzhen

Last seen on Tencent Holdings’s official careers site on November 2, 2026; it may have closed since.

Apply on Tencent Holdings’s careers site →

Job description

Responsibilities

  • 围绕 ima 知识问答、检索及 Agent 等场景,建设业务评测体系,明确质量标准与评价指标;
  • 建设和维护业务 Benchmark,完善样本、评分规则及更新机制,结合人工与模型辅助评测,保障评测结果可靠;
  • 开发自动化评测工具,支持批量测试、自动评分、结果对比及回归验证,提升评测效率与可复现性;
  • 持续追踪不同模型及版本的效果、稳定性、时延与成本,为模型选型和产品迭代提供依据;
  • 建设满意度评价与反馈机制,关联离线评测和真实用户体验,协同产品、算法、研发定位问题并验证改进效果。 Requirements
  • 有 AI 产品、大模型应用评测或算法策略相关经验,能够将业务问题转化为可执行的评测方案;
  • 理解大模型、RAG 及 Agent 的基本机制,熟悉评测集构建、评分标准及人工/自动评测方法;
  • 熟练使用AI工具,能够调用模型 API,独立搭建、调试自动化评测脚本或工具;
  • 具备良好的数据分析与实验设计能力,能识别评测偏差,判断效果变化并形成清晰结论;
  • 主动探索、注重用户价值,能通过动手验证和事实反馈修正判断,推动问题解决。

More jobs at Tencent Holdings

Similar jobs at other companies

AI评测产品经理

Meituan · 北京市

OpenNash lists jobs from employers’ own careers sites and does not handle applications. Dates come from the employer where stated; “first seen” and “last checked” are our own observations.