Spark中普通集合与RDD算子的zip()拉链有什么区别

2021-04-01 10:05:02 浏览数 (1)

集合中的zip: 如果两个集合的元素个数不相等,那么会将同等数量的数据进行拉链,多余的数据省略不用

RDD算子的zip: 该操作可以将两个RDD中的元素,以键值对的形式进行合并。其中,键值对中的Key为第1个RDD中的元素,vaue为第2个RDD中的元素。

不同于集合中的zip()方法,将两个RDD组合成 Key/value开式的RDD,这里默认两个RDD的partition数量以及元素数量都相同,否则会抛出异常。

0 人点赞