数据集: 链接：https://pan.baidu.com/s/1rnUJn5ld45HpLhzbwYIM1A 提取码：7bsd

java8最大的特性就是引入Lambda表达式，即函数式编程，可以将行为进行传递。总结就是：使用不可变值与函数，函数对不可变值进行处理，映射成另一个值。...

其实map 除了对向量有用，也可以作用于数据框或矩阵类型，相当于把其中的每一列作为一个单独的元素来看，有点像按列的apply：

何谓计算引擎，一言以蔽之，就是专门处理数据的程序，在大数据之前，人们用数据库来处理数据，人们常说的SQL，它是一种DSL，它的背后正是数据库的计算引擎，但是数据库的计算和存储通常被集成在一起，统称为数据库引擎。...

当一个父 RDD 分区的数据分散到了多个子 RDD 的分区中时，这时会产生 Shuffle，即宽依赖之间会有 Shuffle。

在这篇文章中，我们主要来了解一下 SORT BY，ORDER BY，DISTRIBUTE BY 和 CLUSTER BY 在 Hive 中的表现。

上面的代码用于计算数组的总和。reduce方法之传入了匿名函数，函数只接收两个参数，分别是前一个值preview，当前值current。当reduce方法没有传入第二个参数时，第一次循环的前一个值为数组的第一项，当前值则为数组的第二项。...

MapReduce是apache公司开发的，基于该框架能够使应用程序能够运行在大规模集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。MapReduce的思想就是“分而治之”，Mapper负责“分”，即把复杂的任务分...

所有集合的根是Iterator，它提供了一组公共方法，可以用来迭代处理和管理集合数据。

Java 8 是一个非常成功的版本，Java8 新增的Stream，配合同版本出现的 Lambda ，给我们操作集合提供了极大的便利。