执行&查询引擎

2021-09-10 11:15:28 浏览数 (1)

执行&查询引擎

Hive On Spark

基本概述

Hive支持使用Spark作为底层执行引擎,以获得比MapReduce更快的处理性能。

代码语言:javascript复制
set hive.execution.engine=spark;

但要注意的是,Hive与Spark整合时,只有特定的Spark版本做过兼容度测试。

Hive 版本

Spark 版本

master

2.3.0

3.0.x

2.3.0

2.3.x

2.0.0

2.2.x

1.6.0

2.1.x

1.6.0

2.0.x

1.5.0

1.2.x

1.3.1

1.1.x

1.2.0

所以,搭建此模式时,对于Spark集群版本有一定的要求。而且默认虚拟机内存为1G,运行核数为1Core,需要关闭虚拟机,并将内存提升为2G,运行核数升为2Core,环境才能搭建成功。

0 人点赞