大数据调度工具开发专家/架构师（DataOps 方向）（深圳/北京）

Job description

Responsibilities

• 设计并实现高性能、高可用的分布式任务调度引擎，支持分钟级百万任务调度；
• 构建分布式调度系统的高可用架构，实现故障自动转移与恢复；
• 设计并实现监控告警体系，推动调度系统的可观测性建设；
• 推动代码质量、单元测试和工程规范落地。 Requirements
• 职位要求；
• 计算机相关专业本科及以上学历，3年以上java后端开发经验；
• 能够独立设计和实现核心模块，有高并发、高可用系统设计经验；
• 有大数据调度系统开发经验，熟悉至少一种主流调度系统内部原理；
• 了解大数据生态任务执行，有 Spark、Flink、Hive 等任务提交与监控的实际经验；
• 优先条件；
• 有商业级调度产品（如 DataWorks、DataLeap、WeData、Apache DolphinScheduler）开发经验者优先；
• 熟悉开源调度系统（Airflow、Apache DolphinScheduler、Azkaban）源码者优先；
• 有任务智能调度、资源优化、成本控制等AIOps相关经验者优先；
• 熟悉大数据生态，有 Hadoop、Spark、Flink 等组件调优经验者优先。