宽窄依赖影响的是什么?

2021-04-13 10:43:42 浏览数 (1)

影响的是stage。

A1 原因

因为stage的切割依据是RDD之间的宽窄依赖。

stage的切割规则:从后往前,遇到宽依赖就切割stage。

A2 图解

从图中可以看出

  1. stage中引入DAG(有向无环图,指定执行顺序ABCDEFG)
  2. A->B是宽依赖,F->G是宽依赖,stage的切割从A和F
  3. join有宽有窄
  4. stage中串并同存在

A3 问题

stage详解

0 人点赞