spark计算操作整理

「过滤」

filter

过滤掉函数计算后返回 false 的数据

distinct

对数据集中的元素进行去重.

「数据转换」

map

一对一. 方法用于对数据进行转换, 一个输入转换为一个输出

flatMap

一对多. 方法对数据进行转换, 一个输入转换为0或多个输出, 所以回调返回一个序列

mapPartitions

多对多. 数据转换批量. 方法对数据进行转换, 每次接收一个任务分区的数据集合进行处理, 同时返回一个转换后的数据序列.  作用类似map, 只是可以批量处理, 对优化性能有一定的帮助.

mapPartitionsWithIndex

与mapPartitions方法类似, 不同的是此函数回调额外接收分区的序号.

flatMapValues

一对多. 针对(K, V)数据集,  将一个 V 拆分为多个.

mapValues

一对一. 针对(K, V)数据集. 将每个 value 进行转换

keyBy

将数据集转成(K, V), 为每个元素通过自定义函数生成一个 K

zipWithIndex

将数据转为(K, V)数据集. K 是元素, V 是索引

keys

针对 (K, V)数据集, 取所有的 key

values

针对(K, V)数据集, 取所有的 value

「相同 key 合并」(K, V)数据

reduceByKey

多个 V 转换为一个, 类型不变.将相同 key 的 value 通过自定义函数合成, 返回一个新的 (K, V) 数据集, 此时所有的相同 key 已经合并在一起了.

foldByKey

多个 V 转换为一个, 类型不变, 可设初始值将相同 key 的 value, 通过自定义函数合并为一个. 与reduceByKey的区别是, 此函数可以设置一个初始值

aggregateByKey

多个 V 转换为一个, 类型可变, 可设初始值.针对(K, V)数据集, 将相同 key 的元素聚合为一个. 合并前后的数据类型可以不一样.  其接收三个参数:zeroValue: 自定义信息的初始状态seqOp: 对元素分区中的每个元素进行处理. 参数为: 每次方法的返回(初始为: zeroValue), 本次元素combOp: 对每个分区的结果进行合并. 参数为: 每次方法的返回(初始为: zeroValue), 本次元素(seqOp 返回)

combineByKey

多个 V 组合为一个, 类型改变.针对(K, V)数据集, 将相同 key 元素进行聚合. 转换为一个 (K, C)的数据集. 其接收回调来生成 C 类型createCombiner: 将类型 V 转为类型 C.mergeValue: 将 V 和 C 进行合并.mergeCombiners: 将两个 C 进行合并

「分组」

groupBy

自定义函数进行分组. 函数对每个元素进行计算, 结果相同的值被分到一组, 返回 (K, V[])

groupByKey

根据数据的 key 进行编组. 在一个 (K, V) 的数据集上, 返回 (K, V[]) 的结果.

「排序」

sortBy

根据自定义函数进行排序

sortByKey

针对(K, V) 数据集, 根据 key 进行排序, 可自定义排序函数此函数通过sortBy也可以实现相同功能, 不过对于 (K, V), 此函数方便一些

「随机采样」

sample

方法对数据集进行随机采样, 其接收参数:1. 是否可重复2. 每个元素被选中的期望次数(0-1)3. 随机数种子

sampleByKey

针对(K, V)数据集, 可指定多个 K 的每个随机频率, 按照频率返回指定 K 的取样数据

randomSplit

将一个 rdd 随机分为多个 rdd

「数据合并」

union

将两个数据集合并为一个数据集, 用于后续处理.

cartesian

对两个数据集做笛卡尔积. 比如:数据1内容: [1, 2]数据2内容: [3, 4]结果内容: (1, 3), (1, 4), (2, 3), (2, 4)

join

针对 (K, V) 数据集之间的合并. 两个数据集: (K, V1), (K, V2). 合并后的数据集: (K, (V1, V2))

cogroup, groupWith

针对 (K, V)数据集的合并. 两个函数作用相同数据集1内容: (K1, V1), (K2, V2), (K1, V3)数据集2内容: (K1, V4)合并后的内容: (K1, ([V1, V3], [V4] )  ), (K2, ([V2], []) )

fullOuterJoin

针对(K, V)数据集. 返回合并后的元素序列, 若其中一个数据集没有, 用 None 占位数据集1内容: (K1, V1)数据集2内容: (K1, V2), (K2, V3)结果: (K1, (V1, V2)), (K2, (None, V3))

leftOuterJoin

针对(K, V)数据集, 执行左侧外连接.  与fullOuterJoin 的区别是, 若 K 在第一个数据集不存在, 则不返回

rightOuterJoin

针对 (K, V)数据集, 执行右侧外链接

intersection

取两个数据集的交集

subtract

取数据集的差集, 元素在数据1中, 不在数据2中.

subtractByKey

取数据差集, 针对 (K, V)数据. K 在数据1中, 不再数据2中

zip

将两个数据集合并为(K, V)数据集,  两数据集元素数量必须一致

「分区操作」

coalesce

将 RDD 缩减到 n 个分区, 可指定是否乱序

repartition

将 RDD 修改到 n 个分区, 乱序

repartitionAndSortWithinPartitions

将 RDD 修改为 n 个分区, 并在每个分区根据 key 进行排序. 可自定义分区函数与排序函数

glom

将每个分区的元素合并为一个列表

方法名

说明

「数据合并」

reduce

通过自定义函数, 将数据集中所有元素合并为一个元素返回.

fold

将所有元素合并为一个. 与reduce的区别是, 这个函数有个初始值

aggregate

将所有元素合并为一个元素. 在合并过程中可以携带自定义信息. 合并前后的数据类型可以不一样.  参数见: aggregateByKey

「获取结果」

collect

将结果中的数据作为数组返回. 通过通过前面处理后, 只剩下很小的数据才会这么做.

collectAsMap

针对(K, V)数据集. 将其作为 map 返回

first

获取结果中的第一个元素.

take

获取结果的前 n 个元素.

takeSample

返回结果的 n 个元素, 采样获取.

takeOrdered

获取结果的前 n 个元素, 会先根据自定义函数对结果进行排序. 内存排序

froeach

遍历结果

foreachPartition

遍历结果分区, 每次接收一批数据

lookup

针对(K, V)数据集. 找到所有指定 K 的元素返回

「统计结果」

count

获取结果元素个数.

countByValue

统计结果中每一个元素的个数. 返回结果如:  (V, 2)

countByKey

对(K, V)数据集. 统计每一个 key 的数量, 返回结果如: (K, 2)

countApproxDistinct

统计数据集中去重的元素个数, 根据精度不同, 其准确度不一定, 此方法返回的是一个大致的值.

max

结果中的最大值, 可自定义比较函数

min

结果的最小值. 可自定义比较函数

sum

求和

mean

结果的平均值

stdev

元素的标准差

variance

计算方差

sampleStdev

结果元素的样本标准差 (除以 n-1那个)

sampleVariance

计算元素的样本方差 (除以 n-1那个)

「保存结果」

saveAsTextFile

将结果输出到指定文件. 对结果中的每个元素调用 toString 方法, 保存为一行数据.

等等吧, 都是 saveAs 打头的方法