大数据AIOps工程师

Job description

岗位职责

• 构建和完善大数据平台各组件的统一监控告警体系，整合系统层、组件层、业务层指标。利用时间序列分析、机器学习算法，实现监控指标的异常检测、动态基线告警，降低误报和漏报。
• 设计并开发大数据自动化运维平台，实现集群部署、扩容、升级、配置变更的自动化与标准化，常见故障的自动发现与自愈（如节点故障自动隔离、数据均衡等）。
• 完善现有建立集群容量模型，实时跟踪资源使用率，预测未来资源需求，为扩容提供数据支撑。
• 建立故障知识库，对历史故障进行沉淀和管理，基于运维数据进行数据挖掘，发现潜在风险和优化点。 任职资格
• 计算机相关专业本科及以上学历，3年以上大数据平台运维或SRE经验，有实际的AIOps项目落地经验，对智能运维体系有深刻理解和浓厚兴趣。
• 深入理解Linux操作系统、网络、存储，熟悉Ansible/Puppet等自动化配置管理工具。
• 熟练掌握Hadoop, HBase, Kafka, Elasticsearch, ClickHouse等至少两种组件的部署、配置、监控和常见故障处理。
• 掌握至少一门编程语言（Python/Go/Java），能够进行运维工具和平台开发。了解常见的机器学习算法（如聚类、分类、回归、时间序列预测）并有应用经验，熟悉TensorFlow或PyTorch等框架者优先。
• 具备强烈的责任心、缜密的逻辑思维和系统性解决问题的能力， 对数据敏感，有通过数据驱动运维改进的意识。