Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分Stage，而划分依据就是RDD之间的依赖关系。
定义
窄依赖
窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用。
- 1个子RDD的分区对应于1个父RDD的分区，比如map，filter，union等算子。
- 1个子RDD的分区对应于N个父RDD的分区，比如co-partioned join。
宽依赖
宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用。
- 1个父RDD对应非全部多个子RDD分区，比如groupByKey，reduceByKey，sortByKey。
- 1个父RDD对应所有子RDD分区，比如未经协同划分的join。
图片来源于网络博客
为什么要有宽窄依赖？
窄依赖可以支持在同一个集群Executor上，以pipeline管道形式顺序执行多条命令，例如在执行了map后，紧接着执行filter。分区内的计算收敛，不需要依赖所有分区的数据，可以并行地在不同节点进行计算。所以它的失败回复也更有效，因为它只需要重新计算丢失的parent partition。
宽依赖需要所有的父分区都是可用的，必须等RDD的parent partition数据全部ready之后才能开始计算，可能还需要调用类似MapReduce之类的操作进行跨节点传递。从失败恢复的角度看，shuffle dependency牵涉RDD各级的多个parent partition。
DAG
RDD之间的依赖关系就形成了DAG（有向无环图）， 在Spark作业调度系统中，调度的前提是判断多个作业任务的依赖关系，这些作业任务之间可能存在因果的依赖关系，也就是说有些任务必须先获得执行，然后相关的依赖任务才能执行，但是任务之间显然不应出现任何直接或间接的循环依赖关系，所以本质上这种关系适合用DAG表示。
Stage划分
由于shuffle依赖必须等RDD的父RDD分区数据全部可读之后才能开始计算，因此Spark的设计是让父RDD将结果写在本地，完全写完之后，通知后面的RDD。 因此，shuffle依赖就必须分为两个阶段(stage)：
- 第一个阶段(stage)需要把结果shuffle到本地，例如groupByKey，首先要聚合某个key的所有记录，才能进行下一步的reduce计算，这个汇聚的过程就是shuffle。
- 第二个阶段(stage)则读入数据进行处理。
对优化的帮助
- 宽依赖往往对应着shuffle操作，需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中，中间可能涉及到多个节点之间的数据传输；而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中，通常可以在一个节点内就可以完成了。
- 当RDD分区丢失时（某个节点故障），spark会对数据进行重算。
- 对于窄依赖，由于父RDD的一个分区只对应一个子RDD分区，这样只需要重算和子RDD分区对应的父RDD分区即可，所以这个重算对数据的利用率是100%的。
- 对于宽依赖，重算的父RDD分区对应多个子RDD分区，这样实际上父RDD 中只有一部分的数据是被用于恢复这个丢失的子RDD分区的，另一部分对应子RDD的其它未丢失分区，这就造成了多余的计算；更一般的，宽依赖中子RDD分区通常来自多个父RDD分区，极端情况下，所有的父RDD分区都要进行重新计算。
- 区分这两种依赖很有用。首先，窄依赖允许在一个集群节点上以流水线的方式（pipeline）计算所有父分区。例如，逐个元素地执行map、然后filter操作；而宽依赖则需要首先计算好所有父分区数据，然后在节点之间进行Shuffle，这与MapReduce类似。第二，窄依赖能够更有效地进行失效节点的恢复，即只需重新计算丢失RDD分区的父分区，而且不同节点之间可以并行计算；而对于一个宽依赖关系的Lineage图，单个节点失效可能导致这个RDD的所有祖先丢失部分分区，因而需要整体重新计算。
宽依赖与窄依赖的算子
窄依赖的函数有：map, filter, union, join(父RDD是hash-partitioned ), mapPartitions, mapValues。
宽依赖的函数有：groupByKey, join(父RDD不是hash-partitioned ), partitionBy。
参考
https://www.cnblogs.com/chushiyaoyue/p/6812232.html
https://www.jianshu.com/p/736a4e628f0f
