点评技术-AI Agent开发工程师

Job description

岗位概述 负责点评业务质量保障体系中AI Agent的技术设计与开发，聚焦验收评测环节，将传统测试工具能力升级为智能化Agent形态，提升测试验证的自动化覆盖率和智能化水平。

• 面向验收评测的 Agent 体系设计 -深入理解点评各业务线（基础、POI、搜推等）的测试流程、验收标准和质量痛点； -设计和建设统一的测试 Agent 基础设施，将评测工具、验收工具、巡检工具等存量能力升级为可自主规划、自主执行的 Agent 形态； -推动测试模式从「人驱动工具」向「Agent 驱动测试」转变，覆盖用例理解、环境准备、执行操控、结果判定的全链路。

智能评测与结果判定能力建设 -建设基于 LLM/VLM 的智能判定能力，覆盖意图识别、结果判定、异常检测、标签生成等评测核心环节； -设计评测驱动的迭代流程

• 集中评测发现 badcase → 针对性优化 → 效果回归验证，形成质量能力的持续进化闭环； -通过工程 Judge、规则引擎等手段治理模型幻觉和误判，保证判定结果的可信度和稳定性。

知识库与数据体系建设 -沉淀业务质量知识库

• Bug 模式、判定标准、页面结构、业务规则等，为 Agent 提供可依赖的领域知识； -建设面向 Agent 友好的测试数据和环境管理能力，支持低成本的用例构造与回放； -保证知识无过时、冲突、冗余，构建知识生产-消费-反馈的自动化闭环。
• 模型评测与效果度量 -建立覆盖准确性、稳定性、成本、耗时的多维度评测指标体系，量化 Agent 化改造的业务价值； -周期性进行 SOTA 模型（LLM/VLM）评测，根据测试场景选择高性价比模型； -跟踪业界 AI 验证自动化方向的前沿实践，评估并引入适合点评场景的技术能力。

基本要求

• 本科及以上学历，计算机、软件工程、人工智能或相关专业，具备5年及以上软件开发、测试开发、质量工程或AI应用工程经验。
• 具备扎实的全栈或服务端工程能力，熟练掌握Python、Java、JavaScript/TypeScript、Go等至少一种编程语言，能够独立完成AI应用、自动化工具、服务或平台能力的设计与开发。
• 理解大语言模型、Prompt、RAG、Agent、Tool Calling、MCP等AI应用基本原理，具备Agent或AI应用的开发、集成和落地经验。
• 熟悉软件测试理论与质量保障体系，具备接口、服务端、Web或客户端自动化测试经验，理解CI/CD、质量门禁、可观测性及持续交付实践。
• 能围绕模型效果、任务成功、稳定性、安全性和成本设计评测方案，并通过数据驱动产品、模型和工程链路的持续优化。
• 具备优秀的业务理解、抽象分析与跨团队协作能力，能够将复杂业务目标转化为清晰的技术方案、验收规则、评测数据和自动化验证方案。

加分项

• 有LLM应用、Agent、RAG或多模态产品的开发、测试、评测、调优或上线保障经验。
• 有AI应用平台、AI评测平台、测试平台、质量中台、数据集、Benchmark或A/B实验平台建设经验。
• 有Prompt工程、模型输出评估、幻觉检测、安全测试或AI治理相关经验。
• 直接参与点评核心业务AI能力的建设与可信交付，覆盖从业务场景识别、AI应用构建到评测验证、生产发布和持续迭代的完整链路。
• 与产品、研发、算法和运营团队高频协同，在真实业务规模和复杂用户场景下探索Agent工程、AI验证自动化和评测驱动的AI应用生产方法。
• 团队支持技术自主决策和快速迭代，可沉淀可复用的Agent能力、评测资产、质量门禁及AI-SDLC工程方法论。