在前面章节中我们给出了语法解析树对应节点的设计，这些节点能够针对其内容完成中间代码的输出，这一节我们继续完善必要节点的设计，然后手动构造语法树，并驱动语法树实现中间代码生成。...

我们到了简单编译器开发的最后一个阶段，也就是生成中间代码。以前我们提到过编译器分为两部分，分别为前端和后端，所谓前端就是将代码转译成中间语言，后端负责进行优化和转译成目标平台的机器指令，现在我们来到了前端的最后...

依样画葫芦娃 我们也许不知道怎么自定义一个分区，那么可以看看spark 自带的是怎么写的；如HashPartitioner

最基本的存储技术。日常应用把通过各种渠道得到的数据，如关系数据库、日志、埋点、爬虫数据都存储到HDFS，供后续使用。

reduce是数组的一种方法，它接收一个函数作为累加器，数组中的每个值（从左到右）开始缩减，最终计算为一个值。

这篇文章来讲优化规则HiveReduceExpressionsWithStatsRule，主要功能是使用列统计Stats信息，来简化Filter过滤器条件。例如：通过统计信息知道a最大值为4，则a>5永远为false。当前仅支持的=, >=, <=, >, < 和 In操作判断简化...

这篇文章来讲优化规则FilterReduceExpressionsRule，主要功能减少不必要谓词表达式判断，如冗余cast转换移除，cast转换为字段本身的相同的数据类型；Filter内含有条件是常量，恒为True等等。和Filter减少不必要的Expression相...

上篇文章分享了基于成本优化器CBO可插拔式优化规则SortJoinReduceRule把Sort下推到Join的优化规则，不熟悉的可翻阅往前文章（文章底部有往期文章链接）。

基于成本优化器CBO，常用的优化规则如子查询移除、相关性拆解、笛卡尔积加等值判断转换为内关联，谓词下推等等常用优化规则Rule。如谓词下推优化规则是将判断条件下推到数据源头，来加少中间结果，在成本优化器中，每个RelNode...

对于基于成本优化器CBO，除了收集统计信息如内存Momery大小、选择性Selectivity、基数Cardinal、还有是否排序Collation、是否是分布式Distribution及并行度Parallelism等物理属性作为成本估算的考虑因素外（在Calcite中，...