AI评测岗-数智化

Job description

岗位职责

• 负责 AI Agent 系统的评测体系设计与实施，结合业务场景定义合理的评测指标和评估标准
• 构建和维护评测数据集，设计覆盖多场景、多轮对话、复杂任务链路的测试用例
• 分析评测结果，进行 bad case 归因和效果问题定位，驱动模型、Prompt 与产品的持续优化
• 与算法、工程团队紧密协作，将评测结果转化为可落地的改进方案
• 关注业界 Agent 评测趋势和方法论演进，持续完善评测标准 任职要求 1. 计算机科学、软件工程、人工智能、数据科学相关专业本科及以上学历 2. 3 年以上 AI/LLM 相关评测经验，有 Agent 系统评测实战经历 3. 熟悉主流大模型能力与 Agent 架构（ReAct、Function Calling、Multi-Agent 等），掌握常见评测方法 4. 掌握至少一种编程语言（Python 优先），能独立开发评测脚本和自动化评测工具 5. 良好的文档能力和跨团队沟通协作能力 加分项
• 有算法评测经验（NLP 分类/标注、图像目标检测等方向的离线/在线评估）
• 有 Prompt Engineering 或 RAG 系统优化经验
• 有评测平台设计和开发经验