Hive源码系列(五)编译模块之整体介绍

2020-04-18 00:13:08 浏览数 (1)

这次主要对Hive编译模块做整体介绍,后面会针对流程中的每一步做详细分析

1、Hive执行过程回顾

client:用户通过客户端提交查询操作

Driver:提供执行接口,负责接收查询请求并建立session,创建一系列环境参数等

Compiler:Hive的编译器,负责将sql转化为平台可执行的执行计划

MetaStore:Hive的元数据服务器

Execution Engine:执行引擎,负责提交Compiler 编译好的执行计划到不同的平台上

用户通过client向Driver提交Hive Sql,Driver将Sql交给Complier,由Complier生成执行计划,Complier生成执行计划的过程需要与MetaStore做交互来获取Sql相关表,字段等属性信息,执行计划生成后,将执行计划交给Driver,Driver通过Execution Engine把执行计划提交相应平台执行,最后把执行的结果返回给用户。

这次我们主要分析的模块就是Compiler ,Hive的编译模块

2、Hive sql的编译流程

词法、语法解析: Antlr定义SQL的语法规则,完成SQL词法,语法解析,将SQL转化为抽象语法树AST Tree

语义解析: 遍历AST Tree,抽象出查询的基本组成单元QueryBlock

生成逻辑执行计划: 遍历QueryBlock,翻译为执行操作树OperatorTree

优化逻辑执行计划: 逻辑层优化器进行OperatorTree变换,合并Operator,达到减少MapReduce Job,减少数据传输及shuffle数据量

生成物理执行计划: 遍历OperatorTree,翻译为MapReduce任务

优化物理执行计划: 物理层优化器进行MapReduce任务的变换,生成最终的执行计划

3、Hive sql的编译的代码流程

(完)

0 人点赞