spark中如何判断算子宽窄? 2021-04-13 10:43:01 浏览数 (1) A1 方法:一种方法:看参数是否可以改变分区数可以看源码中参数是否有与分区相关的,比如numPartitionsA2 例子:sortBy和map比较:sortBy最后有numPartitions,添加不报错map后加上数字(表示分区数的)会报错A3 解释看sortBy和map源码:A4 问题判断flatmap、reduceByKey、GroupByKey算子的宽窄。 map 源码 0 人点赞 上一篇:分享雷军22年前编写的代码