文章目录写在前面车联网项目全新升级创建Flink实时计算子工程1 在原工程下创建实时分析子模块2 导入实时分析子模块pom依赖3 配置实时分析子模块资源文件创建Flink实时计算子工程1 在原工程下创建实时分析子模块总工...

Flink 故障恢复机制的核心，就是应用状态的一致性检查点，有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时刻。在执行流应用...

在之前总结的文章中有提到过，Flink框架提供了三层API完成流处理任务。至此已经学习了DataStream API ，ProcessFunction API 是Flink中最底层的API，可以访问时间戳、watermark 以及注册定时事件。还可以输出特定的一些事...

在目前所有流式计算的场景中，将数据流的状态分为有状态和无状态两种类型。无状态指的就是无状态的计算观察每个独立的事件，并且只根据最后一个事件输出结果。举个栗子：一个流处理程序，从传感器接收温度数据然后在温度为90...

“时间”在我们日常的开发学习过程中是特别常见的一个名词，例如：Java中的日期处理类、获取系统的当前时间、毫秒级的时间戳等等。接下来让我们来看看在Flink框架中，对时间不同的概念。Flink框架中有三个时间的语义：事件时...

在真实的场景中数据流往往都是没有界限的，无休止的，就像是一个通道中水流持续不断地通过管道流向别处，这样显然是无法进行处理、计算的，那如何可以将没有界限的数据进行处理呢？我们可以将这些无界限的数据流进行切割、拆分...

在之前的文章中有提到过，一个flink应用程序开发的步骤大致为五个步骤：构建执行环境、获取数据源、操作数据源、输出到外部系统、触发程序执行。由这五个模块组成了一个flink任务，接下来围绕着每个模块对应的API进行梳理...

Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher）。因为 Flink 是用 Java 和 Scala 实现...

Flink程序一般的开发步骤 构建完成Flink程序之后就可以开发程序了，开发一个Flink程序的一般步骤：

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，F...