AI大数据运维架构师

Job description

岗位职责

平台架构设计与规划

• 负责银行企业级大数据平台（涵盖Hadoop, HBase, Elasticsearch, Kafka, ClickHouse, StarRocks等）的总体架构设计、技术选型和演进规划。

核心技术攻坚与优化

• 解决大数据平台在性能、稳定性、安全性方面遇到的顶层技术难题，主导核心组件的深度调优（如HDFS/YARN资源调度、HBase读写性能、ES索引策略、Kafka吞吐量与可靠性、CK/SR查询优化等）。

稳定性与安全体系构建

• 设计并落地平台的容灾、多活、备份恢复方案，保障金融级数据服务的高可用性（RTO/RPO），结合AIOps和SRE里面落地故障识别、根因定位等高阶方案；
• 跟踪大数据领域前沿技术（如湖仓一体、流批一体、算存分离等），进行技术预研和原型验证，推动新技术在合适场景下的落地。
• 与数据开发、数据治理团队紧密合作，理解业务需求，提供最优的技术架构解决方案。 任职资格
• 计算机相关专业本科及以上学历，8年以上大数据领域工作经验；
• 有AIOps及大模型架构在大数据领域的实施经验，面向AI场景熟悉大数据集群的智能调优、方案优化；

精通核心组件

• 对Hadoop生态（HDFS, YARN, Hive, Spark）、HBase、Kafka、Elasticsearch、ClickHouse、StarRocks等至少三种有深入的源码级理解或丰富的调优经验；
• 具备全链路性能瓶颈分析和调优的能力，能对JVM、操作系统、网络、存储进行深度优化；
• 熟练掌握Java/Scala/Python中至少一门语言，能够进行原型开发和工具编写；
• 优秀的沟通、协调和团队领导能力，能清晰地进行技术布道和方案宣讲；