什么是Hudi? ​

2021-04-13 10:10:34 浏览数 (1)

Hudi(发音为“hoodie”)摄取与管理处于DFS(HDFS 或云存储)之上的大型分析数据集并为查询访问提供三个逻辑视图。

  • 读优化视图 - 在纯列式存储上提供出色的查询性能,非常像parquet表。
  • 增量视图 - 在数据集之上提供一个变更流并提供给下游的作业或ETL任务。
  • 准实时的表 - 使用基于列存储(例如 Parquet Avro)和行存储以提供对实时数据的查询

通过仔细地管理数据在存储中的布局和如何将数据暴露给查询,Hudi支持丰富的数据生态系统,在该系统中,外部数据源可被近实时摄取并被用于presto和spark等交互式SQL引擎,同时能够从处理/ETL框架(如hive& spark中进行增量消费以构建派生(Hudi)数据集。

Hudi 大体上由一个自包含的Spark库组成,它用于构建数据集并与现有的数据访问查询引擎集成。有关演示,请参见快速启动。

0 人点赞