大数据工程师（西安）

Job description

大数据平台搭建与维护

• 负责大数据平台的搭建、优化和维护工作，确保平台稳定运行。这可能涉及Hadoop、Spark、Hive、HBase等分布式大数据产品的设计和开发；

数据处理与分析

• 负责大数据的ETL（提取、转换、加载）开发，以及数据挖掘、数据分析和数据建模等工作。需要能够处理海量数据，并从中提取有价值的信息；

系统设计与开发

• 参与大数据系统的需求分析、系统设计、编码和测试工作。这可能涉及分布式数据仓库平台、实时数据处理平台等系统的开发；

性能优化与调优

• 对大数据平台进行性能分析和优化，提高系统的运行效率和稳定性；

技术支持与协作

• 为项目相关开发人员提供大数据技术指导，解决大数据平台应用中遇到的技术难题，并与团队成员紧密协作，共同推动项目进展。

Requirements

• 熟练掌握 SQL，熟悉至少一种关系型数据库（MySQL、Oracle、PostgreSQL 等），能进行SQL调优；

熟练掌握至少一种编程语言

• Java、Python、Scala 等，对数据结构和算法有基本理解；
• 熟悉 Linux 操作系统基本操作，掌握 Shell 脚本编程；
• 了解大数据处理或 ETL 相关技术和实现方法；
• 具备扎实的计算机基础知识，掌握数据结构、算法、操作系统、计算机网络等核心知识点。