数据工程专家

Job description

岗位职责

• 构建 AI 数据资产体系，包括特征库、样本库、标注规则引擎等，支持特征工程自动化、样本迭代优化，降低 AI 研发的数据门槛。
• 对接算法团队，梳理数据标注标准与质量评估体系，搭建数据问题反馈与迭代闭环，持续提升 AI 数据质量。
• 负责知识库构建与维护， 包括RAG 体系所需的知识库（文档、图谱等），确保数据实时性和准确性。
• 设计并优化数据存储与计算架构（如湖仓一体、实时计算平台），适配 AI 场景的高并发、大容量、低延迟数据需求；负责数据管道、ETL/ELT 任务的开发与维护，结合 AI 技术实现任务调度智能化、故障自愈、性能自动优化；
• 探索并应用联邦学习、差分隐私、同态加密等技术，在保护客户隐私的前提下，实现数据价值的最大化。
• 引入并应用 AI 技术优化数据研发流程，提升数据处理效率、降低人工成本；探索 AI 在数据治理、数据脱敏、数据血缘分析中的应用，搭建智能化数据治理工具，实现数据资产的自动化管理与风险管控。 任职资格
• 本科及以上学历，计算机、大数据、人工智能相关专业；
• 三年以上数据研发、大数据工程或 AI 数据支撑相关工作经验，熟悉Hadoop、Spark、Flink 等大数据计算框架，熟悉 Hive、ClickHouse、HBase 等数据存储引擎，掌握 SQL 优化、ETL/ELT 开发流程；熟悉 Python 编程，具备处理大规模非结构化/半结构化数据的能力；
• 具备跨团队协作能力，能高效对接算法、业务、产品团队，精准理解需求并转化为数据解决方案；

有如下经验者优先

• a) 理解机器学习 / 大模型训练的数据需求（样本格式、特征工程、数据标注），具备 AI 工具（如自动化标注平台、特征工程框架）应用或二次开发经验；了解 LLM 在数据治理、数据生成中的应用场景者； b) 有 AI 公司（大模型、机器学习平台、智能产品）数据供给或数据 AI 化改造项目经验者； c）有金融行业数据建模、知识图谱构建或隐私计算实践经验者。