数据工程师

Job description

岗位职责

• 负责大数据平台的各类数据的采集、接入、存储和计算工作。
• 参与大数据平台各类基础组件的的架构设计和系统建设。

负责各类实时和离线大数据应用的开发工作，包括且不限于

• 指标，标签，在线分析,用户画像，数据可视化，数据挖掘，数据服务等。
• 负责Hadoop，Hive，Spark等存储和计算集群的管理，优化工作，
• 跟踪大数据生态的最新动态，推进平台的持续演进和组件优化。 任职资格 本科及以上学历
• 熟悉分布式系统的基础理论知识，了解大数据处理的常用算法。
• 熟悉Java,Scala和Python等常用的大数据开发语言，有扎实的开发功底。
• 熟悉Hadoop,Hive,Spark,Hbase,Flink,Kafka等大数据组件及技术。
• 精通SQL优化和大数据计算平台性能优化。
• 有数据仓库ETL经验，对于作业调度、数据治理，数据质量管理有较为深入的理解。
• 有埋点数据的采集，处理，建模和可视化经验优先。
• 具有良好的沟通能力，具有较强的分析和解决复杂问题的能力。
• 了解银行风控数据、有风控规则加工经验优先