大模型运营

Job description

• 负责广告智能审核运营场景下的 AI 评测体系建设，设计应用评测、模型评测和效果验收方案。
• 建设评测指标、评测数据集、评测流程，持续衡量 AI 审核能力的准确性、稳定性、风险边界和业务收益。
• 围绕广告内容审核场景，构建覆盖文本、图片、视频、落地页、资质、营销话术等内容的黄金标准评测集。
• 分析 AI 审核链路中的误判、漏判、幻觉、规则冲突和边界 Case，推动算法、产品、工程和业务团队持续优化。
• 将评测结论沉淀为审核策略、业务规则、Prompt 优化建议、产品需求和运营 SOP，推动大模型应用在审核场景中持续落地。
• 根据广告审核场景的大模型应用需求，设计 Prompt 策略，开展实验与测试，并基于数据持续优化模型表现和应用效果。
• 该岗位和策略算法、产品团队紧密配合，共同完成AI应用评估、模型评测等工作。
• 本科及以上学历，计算机、人工智能、数据科学、统计学、广告风控、内容安全等相关专业优先；
• 具备 AI 应用评测、模型评测、算法效果分析、数据分析、内容审核、风控策略或质量评估相关经验；
• 熟悉大模型 / 多模态模型评测方法，理解准确率、召回率、精确率、F1、误杀率、漏放率、一致性、稳定性、鲁棒性等核心指标；
• 具备 SQL、Python 等数据分析能力，能够完成数据提取、样本分析、指标计算和问题归因；
• 具备较强的问题拆解、结构化表达和跨团队协作能力，能够推动评测结论转化为模型和业务优化动作。 加分项
• 有广告审核、内容安全、商业化风控、反作弊、合规审核等业务经验；
• 有大模型、多模态模型、AIGC 内容识别、Agent 应用等相关经验；
• 熟悉自动化评测框架，了解规则评测、人工标注、模型裁判、对抗样本等方法；
• 有评测平台、评测数据集、质检系统或审核辅助系统从 0 到 1 建设经验；
• 具备工具化和自动化意识，能够结合 AI 工具或低代码方式，设计并搭建运营工具、Agent 应用、数据看板或可视化分析页面。