spark SQL配置连接Hive Metastore 3.1.2

2022-01-19 09:31:40 浏览数 (1)

Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。

通过Spark连接Hive Metastore，需要准备如下文件：

在完成下述操作之前，当然首先需要安装并启动hive standalone metastore，并将hive-site.xml文件拷贝到spark的conf目录下。

然后修改conf/spark-default.conf文件，新增如下配置

代码语言：javascript复制

spark.sql.hive.metastore.version   3.1.2
spark.sql.hive.metastore.jars      /data/apache-hive-3.1.2-bin/lib/*Copy

接着便可启动spark sql

代码语言：javascript复制

bin/spark-sqlCopy

查看databases

代码语言：javascript复制

show databases;Copy

查看hive_storage中的所有表

代码语言：javascript复制

use hive_storage;

show tables;Copy

查看sample_table_1表中的数据

代码语言：javascript复制

select * from sample_table_1;Copy

查看表sample_table_1的详细信息

代码语言：javascript复制

describe formatted sample_table_1;Copy

本文为从大数据到人工智能博主「xiaozhch5」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://cloud.tencent.com/developer/article/1936572

0 人点赞