Spark学习笔记

2020-12-10 10:30:01 浏览数 (1)
  1. RDD依赖 什么是依赖关系 通过构建依赖可以实现RDD容错 子RDD依赖于父RDD 为什么需要依赖 因为Spark基于RDD进行并行计算 RDD不可变可分区可进并行计算的集合 通过划分在宽依赖和窄依赖可以在窄依赖的过程中可以实现RDD分区的并行计算 但是宽依赖部分需要从上一个RDD的不同分区拉取数据，在shuffle阶段无法实行并行计算 依赖关系种类 窄依赖：NarrowDependency 宽依赖：ShuffleDependency 如何判断宽窄？ 通过一个父RDD跟一个子RDD对应，窄依赖 通过一个父RDD跟多个子RDD对应，宽依赖 Spark设计依赖关系目的 为了能够SPark并行计算 划分Stage的依据 为了构建血缘关系进行容错
spark

0 人点赞