Hive On Spark搭建报错:Failed to create Spark client for Spark session xx: ..TimeoutException

2021-09-10 11:04:04 浏览数 (1)

错误描述

按照官方文档,搭建Hive On Spark时,出现以下错误。

代码语言:javascript复制
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session xxx: java.util.concurrent.TimeoutException: Client 'xxx timed out waiting for connection from the Remote Spark Driver

错误分析

既然是连接超时,可能有两种情况。一种是配置正常,但网络情况太差,响应还未返回给Hive就报错了。这种情况下,把请求等待时间改大就行。

在hive中,编辑hive-site.xml,调整以下参数:

代码语言:javascript复制
# 单位毫秒
hive.spark.client.connect.timeout
hive.spark.client.server.connect.timeout

但多数情况下,可能是hive on spark的配置错误或缺失,导致无法响应。 如果是参照官方文档进行的搭建,则需要注意Spark的版本问题。

Hive On Spark是需要特定的Spark版本的,如果当前Hive只支持Spark 1.x,则需把spark-assembly.jar拷贝到Hive 的lib目录下。

但如果你使用了Spark2.x的集群,在Spark2.x 的lib下是诶没有这个jar包的。所以会出现报错情况。

解决方案

从官网查询当前Hive所依赖的Spark版本,重新安装Spark。或者使用编译的方式安装Spark,去除hadoop依赖即可,详情见Hive官网文档的Hive On Spark搭建一节。

后话

如果有帮助的,记得点赞、关注。在公众号《数舟》中,可以免费获取专栏《数据仓库》配套的视频课程、大数据集群自动安装脚本,并获取进群交流的途径。

我所有的大数据技术内容也会优先发布到公众号中。如果对某些大数据技术有兴趣,但没有充足的时间,在群里提出,我为大家安排分享。

0 人点赞