基于分层AI架构的SparkSQL自适应执行优化系统研究

Job description

工作职责

• 研发基于轻量级机器学习模型（如XGBoost等）的编译时智能决策引擎，在优化器关键路径实现低延迟预测性调优。
• 扩展Spark AQE能力，实现数据倾斜自动处理、内存自适应管理与预测性调度等细粒度动态执行计划调整。
• 构建执行结果自动采集与模型在线更新的反馈学习机制，实现自动化迭代闭环。
• 利用大语言模型构建SQL优化知识库与建议生成系统，深度挖掘慢查询日志，沉淀可复用优化策略。
• 推动AI架构引擎在零售核心数仓场景中的规模化落地，达成性能与资源利用率的双重提升及数亿级成本节省。 任职要求
• 计算机科学、软件工程、数据科学或相关领域的本硕博在校生。
• 精通Scala/Java/Python，深入理解Spark SQL内核原理（Catalyst、Tungsten、AQE）与分布式计算架构。
• 在AI for Database、学习型查询优化器、自动数据库调优或机器学习系统等方向具有深入研究与实战经验。
• 熟悉XGBoost/LightGBM等轻量模型，具备将ML模型嵌入生产系统关键路径的能力。
• 熟悉LLM应用框架（如LangChain），或在系统与数据工程方向（如OSDI、SIGMOD、VLDB、ICDE等）有高水平论文发表经历者优先。