AI测试开发专家

Job description

岗位职责

一、AI智能体（Agent）专项评测体系构建 负责平安好医生AI智能体应用（如平安芯医、安主任等）的端到端质量保障，基于LangChain框架设计Agent评测方案，覆盖任务规划、工具调用、记忆管理、多轮对话上下文连贯性等核心维度。

二、AI驱动的自动化效能平台研发 深入探索并落地大模型（LLM）与AI Agent在接口测试、Web自动化、移动端自动化领域的创新应用，将测试领域的经验与核心知识封装为Skill能力，打造端到端智能自动化解决方案，显著提升研发质量和交付效率。

三、大模型与算法评测体系建设 深入理解平安好医生自研“平安医博通”多模态大模型，制定面向医疗垂直领域的多维度评测方案，涵盖功能性、语义理解准确性、鲁棒性及模型安全等维度。

四、全流程质量保障

参与AI产品核心需求的架构评审，承担关键链路的功能、接口、高可用及稳定性测试，设计端到端全链路质量解决方案。

五、跨团队协作与质量文化

深度协同产品、研发、算法及医学专家团队，推进质量前置，参与需求与技术方案评审，从测试角度规避潜在风险。 任职资格 【任职要求】

一、专业背景

本科及以上学历，计算机、软件工程等相关专业。 具备5年以上软件测试经验，其中至少2-3年聚焦于AI类应用（如对话机器人、Agent等）的测试或评测工作。

二、AI智能体评测能力

深入理解AI Agent相关技术栈，熟悉LangChain/LangSmith等框架原理，具备Agent流程设计、评估系统构建、工具开发等工程实践经验。 具备构建端到端Agent评测体系的能力，能从多维度、多指标全面评估Agent行为质量，为后续优化提供数据支持和决策依据。 扎实的提示词工程（Prompt Engineering）能力，能设计高质量评测提示词以验证模型行为的稳定性和安全性。

三、算法与大模型评测能力

理解机器学习基础原理，熟悉常见模型评估指标（准确率、召回率、F1、BLEU、ROUGE等），具备模型效果评测与模型版本验证的工程化经验。 对大模型原理（预训练、精调SFT、RAG等）有深入理解，精通大模型评测方法论，有评测基准数据集的接入与使用经验。