大数据工程师

Job description

岗位职责

• 参与大数据基础平台的建设与维护，包括分布式计算、分布式存储、消息队列、资源调度等核心组件；
• 负责Hadoop、Spark、Flink、Kafka、HBase、Hudi、Iceberg等大数据组件的部署、调优与二次开发；
• 参与大数据底层引擎的源码研究与改造，针对业务场景进行性能优化和功能增强；
• 负责大数据平台的资源管理与容量规划，优化计算、存储、网络资源的利用率与成本；
• 参与数据存储格式、文件布局、索引机制、缓存策略等底层技术方案的设计与实现；
• 参与大数据平台的高可用、容灾、监控与告警体系建设，保障平台稳定运行；
• 跟进大数据、云原生、存算分离等前沿技术，进行技术预研与落地验证；
• 编写技术文档，参与内部技术分享，沉淀底层平台技术能力。 任职要求
• 具备扎实的计算机基础，熟悉操作系统、计算机网络、数据结构与算法、数据库原理、分布式系统等核心课程；
• 掌握Java开发语言，熟悉Python、Go或C++；
• 熟悉Linux操作系统，掌握常用Shell命令，具备一定的脚本开发能力；
• 了解主流大数据技术栈，如HadoopHDFS/YARN、Spark、Flink、Kafka、HBase、Zookeeper等，有实际使用或项目经验者优先；
• 对底层技术有浓厚兴趣，愿意深入源码，理解分布式计算、存储、调度等核心机制；
• 了解容器化技术（Docker、Kubernetes）、资源调度（YARN、K8s）者优先；
• 具备良好的逻辑思维、问题分析与解决能力，有较强的学习能力和技术热情。