spark中如何判断算子宽窄?

2021-04-13 10:43:01 浏览数 (1)

A1 方法:

一种方法:

看参数是否可以改变分区数

可以看源码中参数是否有与分区相关的,比如numPartitions

A2 例子:

sortBy和map比较:

  • sortBy最后有numPartitions,添加不报错
  • map后加上数字(表示分区数的)会报错

A3 解释

看sortBy和map源码:

A4 问题

判断flatmap、reduceByKey、GroupByKey算子的宽窄。

0 人点赞