AI智能体评测高级工程师

Job description

Responsibilities

• 负责腾讯自研龙虾WorkBuddy/腾讯AI IDE CodeBuddy产品质量保障及AI评测工作，推动产品质量体系，生成效果提升；
• 负责大语言模型（LLM）及Agent系统的评测体系设计与持续演进，覆盖模型能力评测、Agent任务评测、端到端产品功能评测等，构建Benchmark；
• 跟踪业界评测基准动态（如 SWE-bench、HumanEval、MMLU、AgentBench 等），结合业务场景进行适配与创新；
• 从无到有参与产品AI评测算法、评测标准和评测流程制定，构建评测集、评测执行器，推进评测刚才体系建设。 Requirements
• 本科及以上学历，计算机科学、软件工程、人工智能或相关专业；
• 熟练掌握 Python，具备脚本开发与数据处理能力；熟悉业界主流LLM评测基准与方法论（HumanEval、SWE-bench、MMLU、GSM8K等）；
• 了解大语言模型的基本原理（Transformer架构、预训练、微调、RLHF、推理优化等）。有主流深度学习框架（PyTorch / TensorFlow / JAX）的实践经验者优先；
• 具备Agen开发或测试经验，了解ReAct、Function Calling、Tool Use、Planning等核心概念；
• 有评测平台或自动化测试框架的开发经验者优先；具备数据分析能力，能从评测数据中提炼有价值的洞察。