大数据工程师（上海）

Job description

Responsibilities

• 负责公司海量用户、行为等大数据的清洗、规整与质量监控，参与数据仓库、数据集市建设与迭代优化，搭建标准化、规范化的大数据指标体系与数据报表，保障海量数据的准确性、完整性、时效性，支撑全业务线数据常态化监控；
• 负责平台内容、用户流量的推荐算法工作，针对首页推荐、信息流、个性化推送等场景，制定、优化、落地精细化推荐策略，提升流量分发效率与用户匹配度；
• 负责针对用户增长、产品迭代、商业变现，开展海量数据专项分析，深挖数据价值；
• 负责对接业务、产品、算法、运营等多团队，承接各类复杂大数据查询、统计、分析需求，统一全域数据指标口径，规范大数据输出标准，梳理数据血缘，解决海量数据统计差异、数据异常等问题，提升团队数据使用效率;
• 参与大数据计算、存储、分析工具的落地与优化，编写自动化数据处理脚本，优化海量数据取数、清洗、分析流程，降低重复工作成本，沉淀大数据分析方法论、数据治理规范、项目案例，推动团队数据能力体系建设。

Requirements

• 重点院校本科及以上学历，计算机、软硬件开发、数据科学与大数据技术、统计学、人工智能、电子信息、自动化、数学等相关专业；
• 具备主流推荐算法基础逻辑，熟悉协同过滤、内容推荐、热度排序、召回、精排、重排等推荐链路核心流程，理解算法模型的基本原理与应用场景；
• 精通SQL，Python，Scala等编程语言，熟练使用Hive、Spark SQL、MySQL、ClickHouse 、ES等主流大数据数据库，熟练掌握窗口函数、分区聚合、多表关联、复杂子查询，能独立完成千万/亿级海量数据的提取、清洗、统计与优化；
• 了解大数据生态组件（Hadoop、Spark等），熟悉数仓分层（ODS/DWD/DWS/ADS）建设逻辑，掌握数据治理、数据质量管控、数据血缘梳理者优先；
• 具备扎实的数学、统计及机器学习、深度学习理论知识，具有数据挖掘，大数据指标体系、用户画像模型等项目经验优先；
• 思路敏捷清晰，有良好的表达和理解能力，具备团队合作精神和主动沟通意识。