这次主要对Hive编译模块做整体介绍,后面会针对流程中的每一步做详细分析
1、Hive执行过程回顾
client:用户通过客户端提交查询操作
Driver:提供执行接口,负责接收查询请求并建立session,创建一系列环境参数等
Compiler:Hive的编译器,负责将sql转化为平台可执行的执行计划
MetaStore:Hive的元数据服务器
Execution Engine:执行引擎,负责提交Compiler 编译好的执行计划到不同的平台上
用户通过client向Driver提交Hive Sql,Driver将Sql交给Complier,由Complier生成执行计划,Complier生成执行计划的过程需要与MetaStore做交互来获取Sql相关表,字段等属性信息,执行计划生成后,将执行计划交给Driver,Driver通过Execution Engine把执行计划提交相应平台执行,最后把执行的结果返回给用户。
这次我们主要分析的模块就是Compiler ,Hive的编译模块
2、Hive sql的编译流程
词法、语法解析: Antlr定义SQL的语法规则,完成SQL词法,语法解析,将SQL转化为抽象语法树AST Tree
语义解析: 遍历AST Tree,抽象出查询的基本组成单元QueryBlock
生成逻辑执行计划: 遍历QueryBlock,翻译为执行操作树OperatorTree
优化逻辑执行计划: 逻辑层优化器进行OperatorTree变换,合并Operator,达到减少MapReduce Job,减少数据传输及shuffle数据量
生成物理执行计划: 遍历OperatorTree,翻译为MapReduce任务
优化物理执行计划: 物理层优化器进行MapReduce任务的变换,生成最终的执行计划
3、Hive sql的编译的代码流程
(完)