平台产品规范负责人

Job description

评测体系建设

• 面向用户交互场景，设计覆盖搜索、推荐、频道、模型输出结果、优化过程等场景的体验标准和评测框架，保障评测标准对产品迭代有效性，评测结果可解释可复现，并主导Benchmark数据集构建与持续迭代，防控数据污染与评测失效；

搭建自动化评测工程

• 通过judge model等自动评测流水线，设计多评委协作机制，控制评测偏见，持续提升自动评测与人工标注的一致性，实现自动化评测；

数据生产与质量管控

• 主导评测/训练数据合成方案设计，建立标注规范与质检体系，同时与数据团队协作，保障大规模数据生产的稳定性与准确性；

评测结果易用性迭代

• 面向美团用户场景产运研执行与管理者，设计与数据报表、实验系统灵活打通的方式，全面提升产运研经营与迭代效率。
• 计算机、人工智能、统计学、数学或相关专业，本科及以上学历；5年以上搜索/推荐/NLP算法或大模型评测领域工作经验，有搜索算法背景者优先；

具备从0到1搭建评测体系的完整经验

• 独立完成过评测框架设计、评测标准制定、Benchmark数据集构建与迭代管理，能系统性解决评测标准与业务目标对齐、评测结果可解释可复现等核心问题；

精通主流评测方法论与工程实践

• 熟悉LLM-as-Judge、人机对齐校准、多评委协作机制等前沿评测范式，有自动评测流水线的架构设计与落地经验，能将自动评测与人工标注的一致性做到可量化、可持续优化，并使得使用评测结果的易用性持续提升；

具备扎实的算法理解与数据建模能力

• 深入理解搜索排序、相关性、多目标优化等核心算法原理，能将算法理解转化为可操作的评测维度和业务策略设计；熟练掌握Python，有评测/数据平台工具的架构设计经验；

具备跨团队体系建设与推动落地能力

• 有过主导跨产品/算法/工程多团队协作的经验，能推动评测标准在多个业务线落地并持续对齐；有带团队经验，能够带领团队和影响相关团队明确方向、拆解目标、拿到结果；

具备前沿技术洞察与内化能力

• 持续关注AI/大模型/搜索领域的前沿进展，能将外部最佳实践快速转化为内部方法论；具备Vibe coding或自动化流程搭建能力，能快速验证方案可行性并推动规模化落地。
• 紧跟人工智能行业进展，接触到前沿技术和行业趋势，磨练出对人工智能的独到见解；
• 参与大模型评测的全流程体系，了解从理论到工程实践的全面技能；
• 与一流的人工智能团队合作，快速成长，提升自身能力；
• 有机会参与部门的重点项目，跨足不同领域，拓宽人工智能技术的应用范围；