大模型/Agent 评测工程师（AI 研发方向）

Job description

• 负责通用 Agent、Code Agent 及 AI 研发工具的评测体系设计与建设，支撑模型、Prompt、工具和 Agent 工作流的持续迭代。
• 深入需求分析、技术方案设计、代码生成与修改、测试生成、代码评审、缺陷修复和故障诊断等研发场景，将真实研发流程抽象为可复现、可扩展的评测任务。
• 建立覆盖任务完成度、需求符合度、代码正确性、工具调用、规划执行、稳定性、安全性、成本和时延等维度的评测指标体系。
• 负责评测数据和样本建设，持续沉淀真实任务、典型失败案例、线上反馈及核心回归用例，保障评测数据的代表性、区分度和可维护性。
• 设计和研发自动化评测框架及平台，支持任务批量执行、过程数据采集、自动评分、版本对比、回归分析、异常告警和结果可视化。
• 分析 Agent 的执行轨迹，定位其在需求理解、任务规划、上下文使用、工具调用、代码修改、测试执行和错误恢复等环节的问题，判断问题来源并提出改进建议。
• 建立线上反馈与离线评测之间的闭环，将用户反馈、任务失败、人工接管和异常行为转化为可复现的评测与回归用例。
• 与产品、算法、研发、测试及平台团队协作，推动评测结果应用于模型选择、Agent 优化、版本验收和发布决策。
• 计算机科学、软件工程、人工智能或相关专业本科及以上学历，具备 3 年及以上软件研发、测试开发、质量工程、研发效能或 AI 工程经验。
• 熟练掌握 Python、Go、Java 或 TypeScript 中至少一种编程语言，具备良好的工程实现能力，能够独立完成评测工具、服务或平台模块的设计与开发。
• 熟悉软件研发流程，了解 Git、CI/CD、自动化测试、容器化环境以及常见的软件构建、测试和发布方式。
• 对大语言模型和 Agent 有较深入理解，熟悉 Prompt、上下文管理、任务规划、工具调用、多轮交互、代码执行及错误恢复等基本机制。
• 具备评测方案设计能力，能够将模糊的质量问题转化为明确的评测任务、指标、评分规则和验收标准。
• 具备良好的数据分析和实验能力，能够从评测数据和执行轨迹中发现规律、归纳失败类型并定位问题根因。
• 具备较强的业务理解、逻辑分析和跨团队协作能力，能够推动评测方案在真实研发场景中落地。
• 对 AI 编程和 Agent 技术保持高度关注，愿意持续探索新模型、新工具和新的评测方法。
• 聚焦大模型与 Agent 前沿方向，参与通用 Agent、Code Agent 评测体系从设计到落地的完整建设；
• 深入需求分析、技术设计、编码、测试和代码评审等真实研发流程，探索 AI 在复杂软件研发场景中的能力边界；
• 参与评测框架、评测平台、指标体系及评测数据建设，形成从用例构建、自动执行到结果分析的完整实践；
• 与模型、Agent、研发工具及业务团队紧密协作，通过评测发现问题并推动模型与智能体持续迭代；
• 面向大规模、可复现的 Agent 评测挑战，积累 AI 评测、研发效能和平台工程等复合领域经验。