执行&查询引擎
Hive On Spark
基本概述
Hive支持使用Spark作为底层执行引擎,以获得比MapReduce更快的处理性能。
代码语言:javascript复制set hive.execution.engine=spark;
但要注意的是,Hive与Spark整合时,只有特定的Spark版本做过兼容度测试。
Hive 版本 | Spark 版本 |
---|---|
master | 2.3.0 |
3.0.x | 2.3.0 |
2.3.x | 2.0.0 |
2.2.x | 1.6.0 |
2.1.x | 1.6.0 |
2.0.x | 1.5.0 |
1.2.x | 1.3.1 |
1.1.x | 1.2.0 |
所以,搭建此模式时,对于Spark集群版本有一定的要求。而且默认虚拟机内存为1G,运行核数为1Core,需要关闭虚拟机,并将内存提升为2G,运行核数升为2Core,环境才能搭建成功。