最新 最热

Antlr4实战:统一SQL路由多引擎

ANTLR是一款功能强大的语法分析器生成器,可用来读取、处理、执行和转换结构化文本或二进制文件。它被广泛应用于学术界和工业界构建各种语言、工具和框架。Antlr在Hadoop整个生态系统应用较为广泛,如Hive 词法文件是Ant...

2022-04-25
1

Hive优化器原理与源码解析系列--优化规则HivePointLookupOptimizerRule(二十四)

这篇文章来讲优化规则HivePointLookupOptimizerRule点查找优化规则,主要功能此优化将要应用到Filter过滤表达式上,如果他的表达式包含一个OR操作,且它的子表达式是常量表达式,优化器将会产生一个IN表达式来替代(这样效率更...

2022-04-25
1

Hive优化器原理与源码解析系列--优化规则HiveReduceExpressionsWithStatsRule(二十三)

这篇文章来讲优化规则HiveReduceExpressionsWithStatsRule,主要功能是使用列统计Stats信息,来简化Filter过滤器条件。例如:通过统计信息知道a最大值为4,则a>5永远为false。当前仅支持的=, >=, <=, >, < 和 In操作判断简化...

2022-04-25
1

Hive优化器原理与源码解析系列--优化规则HiveFilterSortTransposeRule(二十一)

这篇文章来讲优化规则HiveFilterSortTransposeRule,主要功能是Filter操作和SortLimit操作位置调换或Filter操作下推到HiveSortLimit操作之下,此规则也属于Filter过滤器下推的一种,只是下推到Sort排序操作之下,都是提前过...

2022-04-25
1

Hive优化器原理与源码解析系列--优化规则HiveFilterSetOpTransposeRule(二十)

这篇文章来讲优化规则HiveFilterSetOpTransposeRule,主要功能是将Filter过滤器下推到SetOp集合操作之下,提前过滤掉不必要的数据,减少中间结果进行优化。

2022-04-25
1

Hive优化器原理与源码解析系列--优化规则HiveIntersectMergeRule(十九)

这篇文章来讲优化规则HiveIntersectMergeRule,主要功能是把多个Intersect操作合并为一个Intersect操作。具体逻辑是把多个Intersect子输入RelNode收集到一个RelNode列表inputs中,使inputs作为子输入创建一个新Intersetc...

2022-04-25
1

Hive优化器原理与源码解析系列--优化规则HiveFilterAggregateTransposeRule(十八)

这篇文章来讲优化规则HiveFilterAggregateTransposeRule,主要功能是将Filter过滤器下推到Aggregate聚合操作之下。满足的前提条件,这些谓词表达式必须是确定性的。...

2022-04-25
1

Hive优化器原理与源码解析系列--优化规则HiveAggregateProjectMergeRule(十六)

这篇文章来讲优化规则HiveAggregateProjectMergeRule,主要功能是将Project投影操作之上的Aggregate聚合函数操作两者进行合并,前提是只有当聚合函数的GroupBY分组表达式和参数是字段引用(即,不是表达式)时,才满足优化规则使...

2022-04-25
1

Hive优化器原理与源码解析系列--优化规则HivePreFilteringRule(十五)

这篇文章来讲Hive优化规则HivePreFilteringRule,称为前置过滤器优化规则或谓词下推优化规则。其主要功能是通过哪些谓词下推到离数据源最近的位置,即提前过滤记录数,减少不必要的数据量IO。大致优化过程,是通过把谓词集合...

2022-04-25
1

Hive优化器原理与源码解析系列--优化规则PartitionPruneRule(十四)

这篇文章来讲Hive优化规则PartitionPruneRule,其主要功能是对Predicate谓词中识别出分区字段值谓词列表,直接定位到分区目录读取,而不是从全量数据中过滤相关谓词条件数据,从而避免了不必要IO。熟悉Hive的童鞋会知道,Hive...

2022-04-25
1