最新 最热

通过Java API获取Hive Metastore中的元数据信息

在文章中,我们说到Hive 3.0.0版本开始,其单独提供了standalone metastore服务以作为像presto等处理引擎的元数据管理中心。

2022-01-19
1

Presto使用Docker独立运行Hive Standalone Metastore管理MinIO(S3)

在Hive 3.0.0以及之后,Hive Metastore便可独立于Hive单独运行,可作为各数据的元数据中心。本文介绍使用Docker运行Hive Standalone Metastore,并以Presto中的Hive连接器为例,通过Hive Metastore管理MinIO(S3兼容的对象存储...

2022-01-19
1

hive metastore 3.0介绍

数据库、表、函数等 Hive 对象的定义存储在 Metastore 中。 根据系统的配置方式,统计数据和授权记录也可能存储在那里。 Hive 和其他执行引擎在运行时使用此数据来确定如何解析、授权和有效执行用户查询。...

2022-01-19
1

深度对比 Delta、Iceberg 和 Hudi 三大开源数据湖方案

目前市面上流行的三大开源数据湖方案分别为:Delta、Apache Iceberg 和 Apache Hudi。其中,由于 Apache Spark 在商业化上取得巨大成功,所以由其背后商业公司 Databricks 推出的 Delta 也显得格外亮眼。Apache Hudi 是由 ...

2022-01-19
1

hudi 0.10.0-SNAPSHOT适配hdp 3.1.5编译

hive-jdbc依赖的hadoop-yarn-server-resourcemanager版本为SNAPSHOT,在仓库中都找不到,将其修改为使用项目指定的版本。

2022-01-19
1

hive-3.1.2安装以及使用tez作为执行引擎指南

3 复制hive-default.xml.template,得到一份hive-site.xml

2022-01-19
1

使用hive查询从hudi同步的表需要注意的问题

如果没有做如下指定,有可能会得到错误结果或者执行错误。例如,有100000条数据,用flink查返回正确结果,但是在hive中,如果不做上述指定,返回了162766的结果,明显这个结果是错误的。...

2022-01-19
1

使用presto查询同步到hive的hudi数据

上述配置项为presto-server配置信息,同时将coordinator以及worker都集中在同一台主机。

2022-01-19
1

使用flink SQL Client将mysql数据写入到hudi并同步到hive

0.9.0版本的hudi在适配hive3时,其hudi/package/hudi-flink-bundle/pom.xml文件使用的flink-connector-hive版本有问题,所以需要修改pom文件。

2022-01-19
1

Apache Hudi 0.9.0 版本发布

Apache Hudi 0.9.0实验性地支持使用Spark SQL进行DDL/DML操作,朝着让所有用户(非工程师、分析师等)更容易访问和操作Hudi迈出了一大步。用户可以直接使用CREATE TABLE ... USING HUDI以及CREATE TABLE ... AS SELECT语...

2022-01-19
1