太平金科-深圳分公司-数据平台运维岗

Job description

平台日常运维

• 大数据集群（HDFS/YARN/Hive/Spark/Flink等）的日常巡检、组件启停、版本升级及配置管理，确保服务高可用；

监控与告警处理

• 利用Prometheus、Zabbix等监控工具实时关注集群健康状态，及时发现并响应告警，参与故障定位与恢复；

自动化工具开发

• 基于Shell/Python编写自动化运维脚本（如日志归档、资源清理、健康检查报表），提升日常运维效率；

容器化与云原生

• 参与基于Docker/Kubernetes的大数据组件容器化部署与维护，学习云原生运维最佳实践；

性能调优与容量规划

• 协助分析集群资源使用趋势，参与参数调优和容量评估，为业务增长提供稳定底座；

文档与知识沉淀

• 详细记录运维过程、故障案例和解决方案，形成内部知识库，定期进行技术分享；
• 完成领导交办的其他工作事项。
• 本科及以上学历；
• 计算机科学与技术、软件工程、大数据技术、信息管理与信息系统、网络工程、通信工程、自动化等信息化相关专业；
• 要求具备扎实的计算机基础理论功底（数据结构、操作系统、计算机网络、数据库原理）；
• 熟练掌握常用命令（vim、grep、awk、sed、tar、ps、top、netstat等），能阅读系统日志，具备基本的系统问题排查能力；
• 系统学习过Hadoop生态（HDFS、YARN）、Hive、Spark、Flink等至少1-2个组件，有课程设计或实验项目经验；
• 熟悉MySQL或PostgreSQL，能编写复杂SQL，了解HiveQL基础；
• 熟练使用Shell或Python，能独立编写50行以上的运维辅助脚本；
• 了解Docker基本操作，对Kubernetes有概念性认识（如有实际部署经验更佳）；
• 理解TCP/IP协议栈，能使用ping、telnet、traceroute等工具进行基础网络连通性测试。