数据治理意义重大，传统的数据治理采用文档的形式进行管理，已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。...

Redis的执行器非常薄，所以Redis只支持有限API，几乎没聚合查询能力，也不支持SQL。存储引擎也简单，直接在内存中用最简单数据结构保存数据。

Drill 是一个用于大数据探索的 Apache 开源 SQL 查询引擎。 Drill 的设计初衷是支持对来自现代大数据应用程序的半结构化和快速发展的数据进行高性能分析，同时仍然提供行业标准查询语言 ANSI SQL 的熟悉度和生态系统。...

Hive 分区就是将数据按照数据表的某列或者某几列分为多个区域进行存储，这里的区域是指 hdfs 上的文件夹。按照某几列进行分区，就是说按照某列分区后的数据，继续按照不同的分区列进行分区。创建分区后，指定分区值即可直接...

由于业务需要，添加了在hive原来的表上增加了新字段（alter table partition_test add columns(ads string); ），添加一段时间后发现，新分区的数据查询正常。但是发现涉及以前的分区，新增字段的值都是null。...

在 Apache Hudi支持完整的Schema演变的方案中 硬核！Apache Hudi Schema演变深度分析与应用 读取方面，只完成了SQL on Spark的支持（Spark3以上，用于离线分析场景），Presto（用于在线OLAP场景）及Apache Hive（Hudi的bundle包）的支持，...

问题现象：在hive的分区表中删除了分区，命令执行返回成功，但是hdfs上对应的分区目录却没有删除。

之前使用的0.10版本的hive，hql查询if语句如下：SELECT IF(split(m.phone_platform,'_')[1] LIKE '4%' OR LOWER(split(m.phone_platform,'_')[1]) LIKE 'k' ,'4.X', ...

在数据资产管理与数据治理领域，数据之间的血缘关系是一个绕不开的话题，数据血缘的完备程度也是评价一个企业数据中台成熟度的重要度量之一。到底什么是数据血缘，它对于数据工作者和数据使用者有哪些举足轻重的作用呢？...

在构建数据湖时，可能没有比存储数据格式更重要的决定了。结果将直接影响其性能、可用性和兼容性。