2021年大数据Spark（三十五）：SparkStreaming数据抽象 DStream

SparkStreaming数据抽象-DStream

DStream 是什么

Spark Streaming的核心是DStream，DStream类似于RDD，它实质上一系列的RDD的集合，DStream可以按照秒、分等时间间隔将数据流进行批量的划分。

如下图所示：将流式数据按照【X seconds】划分很多批次Batch，每个Batch数据封装到RDD中进行处理分析，最后每批次数据进行输出。

对于目前版本的Spark Streaming而言，其最小的Batch Size的选取在0.5~5秒钟之间，所以Spark Streaming能够满足流式准实时计算场景，对实时性要求非常高的如高频实时交易场景则不太适合。

DStream代表了一种连续的数据流，要么从某种数据源提取数据，要么从其他数据流映射转换而来。DStream内部是由一系列连续的RDD组成的，每个RDD都包含了特定时间间隔内的一批数据，

DStream是不间断的 连续的数据对象(内容是无边界的)

如下图所示：

DStream本质上是一个：一系列时间上连续的RDD（Seq[RDD]），DStream = Seq[RDD]。

DStream = Seq[RDD]

 DStream相当于一个序列（集合），里面存储的数据类型为RDD（Streaming按照时间间隔划分流式数据）

对DStream的数据进行操作也是按照RDD为单位进行的 。

  通过WEB UI界面可知，对DStream调用函数操作，底层就是对RDD进行操作，发现很多时候DStream中函数与RDD中函数一样的。

DStream中每批次数据RDD在处理时，各个RDD之间存在依赖关系，DStream直接也有依赖关系，RDD具有容错性，那么DStream也具有容错性。

上图相关说明：

 1）、每一个椭圆形表示一个RDD

 2）、椭圆形中的每个圆形代表一个RDD中的一个Partition分区

 3）、每一列的多个RDD表示一个DStream(图中有三列所以有三个DStream)

 4）、每一行最后一个RDD则表示每一个Batch Size所产生的中间结果RDD

Spark Streaming将流式计算分解成多个Spark Job，对于每一时间段数据的处理都会经过Spark DAG图分解以及Spark的任务集的调度过程。

​​​​​​​DStream Operations

 DStream#Output Operations：将DStream中每批次RDD处理结果resultRDD输出

DStream类似RDD，里面包含很多函数，进行数据处理和输出操作，主要分为两大类：

​​​​​​​Transformation

大多数和RDD中的类似，有一些特殊的针对特定类型应用使用的函数，比如updateStateByKey状态函数、window窗口函数等，后续具体结合案例讲解。

http://spark.apache.org/docs/2.4.5/streaming-programming-guide.html#transformations-on-dstreams

​​​​​​​Output函数

http://spark.apache.org/docs/2.4.5/streaming-programming-guide.html#output-operations-on-dstreams