智能体测试经理

Job description

工作内容

• 负责智能体平台与 Agent 应用的质量保障（QA）体系建设，覆盖功能、性能、稳定性与兼容性测试。
• 搭建 Agent 自动化测试框架，覆盖工具调用、多轮对话、长任务与异常恢复等场景的端到端回归。

设计非确定性（LLM）系统的测试策略

• 快照测试、容错阈值、LLM-as-Judge 辅助断言。
• 建立 CI/CD 质量门禁，推动模型/Agent/Skills 上线前必经自动化测试与决策。
• 负责线上质量监控、缺陷跟踪与根因分析，驱动研发持续改进。
• 组建并带领测试团队，建立测试规范、用例资产与质量度量体系。

岗位要求

1. 8年以上软件测试/质量保障经验，2年以上 AI/LLM/Agent 测试方向。 2. 精通自动化测试框架与 CI/CD，熟悉测试金字塔与质量度量体系。 3. 熟悉非确定性 LLM 系统的测试难点，有 LLM-as-Judge、快照/回归测试实践经验。 4. 精通 Python，具备数据分析与测试脚本开发能力。 5. 熟悉性能/压力测试、接口测试与可观测性体系。 6. 2年以上团队管理经验，强责任心与跨部门协同能力。

• 有大型平台或高并发系统质量体系建设经验者优先。