大数据和AI工程师（大数据开发方向）

Job description

Responsibilities

• 负责大数据平台基础上的应用开发，包括报表系统、数仓建设
• 负责数据仓库和大数据处理ETL流程开发以及模型设计
• 负责基于HADOOP生态技术进行海量数据的ETL处理、分析、统计、挖掘工作
• 完成数据指标的统计、多维分析和报表展现

总结和编写相关的开发文档，并能够根据规划需求制定相关技术方案 Requirements

• 熟悉linux开发环境及linux基本操作命令
• 熟悉PostgreSQL、Mysql、Hive、Redis等数据库
• 熟悉SQL、PL/SQL、PERL、Python等脚本语言开发
• 熟悉hadoop及hadoop生态圈中的常用组件，如Spark、HBase、Hive、Zookeeper、Kafka、Solr等
• 熟悉数据ETL、数据模型分层设计等基本理论
• 拥有实际的Hadoop的项目实践经营，有Spark、Flink使用经验者优先
• 熟悉机器学习或深度学习，Python数据挖掘经验优先
• 有良好的代码习惯，有效编写单元测试