小团-评测一线 AI Builder

Job description

1）执行日常AI效果评测任务--按 pipeline 标准流程产出评测报告和结论； 2）Badcase 深度分析与归因--定位问题根因(prompt/model/data/tool 各环节)，推动修复闭环 3）评测数据集维护与优化--持续迭代评测 case 库,确保覆盖度和有效性 4）配合评测负责人完善 pipeline--参与评测工具链建设和标准化流程迭代 5）评测报告产出与沟通--将评测结论清晰传达给产品/研发,推动落地改进 1）1-3年数据分析、产品、或测试相关经验 2）具备较强的数据敏感度和逻辑分析能力,能使用ai+sql/Python完成常见的数据处理工作 3）有搜推/NLP/AI 相关评测、效果分析经验优先 1）每天直面模型真实输出，从 badcase 中积累对 LLM/Agent 能力边界的一手认知，比多数产品和研发更早感知技术演进方向 2）不是纯执行型测试岗，而是参与评测体系从 0 到 1 搭建，有机会定义"什么算好"的标准 3）日常工作横跨数据分析、prompt 调优、pipeline 工具建设，天然锻炼复合能力，不被单一职能框死 4）结论直达产品/研发决策层，推动链路短、反馈快