大数据入门:Flink状态编程与容错机制

2020-12-16 18:08:35 浏览数 (2)

在大数据技术发展历程当中,Flink框架可以说是新一轮的热点技术框架,主打流批一体的计算模式,成为更适应当下需求的技术框架,因此再也技术领域得到更多的重视。今天的大数据入门分享,我们主要来讲讲Flink框架的状态编程与容错机制。

流式计算,通常分为有状态和无状态两种情况:

无状态:无状态的计算观察每个独立事件,并根据最后一个事件输出结果。

有状态:有状态的计算则会基于多个事件输出结果。

Flink流计算理念,官方说法叫做有状态的流计算,将批处理也看作是一种特殊的“流”,即有界的流,在这样的指导思想下,实现了批处理和流计算。

Flink状态编程

Flink有很多算子,数据源source,数据存储sink都是有状态的,流中数据都是buffer records,会保存一定的元素或者元数据。如:ProcessWindowFunction会缓存输入流的数据,ProcessFunction会保存设置的定时器信息等。

Flink中,状态始终与特定算子相关,总的来说有两种类型的状态:算子状态(operator state)和键控状态(keyed state)。

算子状态(operator state)

算子状态的作用范围限定在算子任务。也就是说同一并行任务所处理的所有数据都可以访问到相同的状态,状态对于统一任务而言是共享的。算子不能由相同或不同算子的另一个任务访问。

Flink算子状态的三种基本数据结构——

列表状态(List state):将状态表示为一组数据的列表。

联合列表状态(Union list state):将状态表示为一组数据的列表,它与常规列表的区别在于,在发生故障时,或者从保存点(savepoint)启动应用程序时如何恢复。

广播状态(Broadcast state):如果一个算子有多项任务,而它的每项任务状态又都相同,那么这种情况最适合光爆状态

键控状态(keyed state)

键控状态是根据输入数据流中定义的键(key)来维护和访问的。

Flink为每个键值维护一个状态实例,并将具有相同键的所有数据,都分区到一个算子任务中,这个任务会维护和处理这个key对应的状态。

当任务处理处理一条数据时,它会自动将状态的访问范围限定为当前输的key。因此,具有相同key的所有数据都会访问相同的状态。

Keyed State类似于一个分布式的k-v的map数据结构,只能用于KeyedStream(keyby算子处理之后)。

Flink的Keyed State支持的数据类型:

ValueState[T]保存单个值,值得类型为T

get操作:ValueState.value()

set操作:ValueState.update(value:T)

ListState[T]保存一个列表,列表元素的类型T

ListState.add(value:T)

ListState.addAll(values:java.util.List[T])

ListState.get()返回Iterable[T]

ListState.update(values:java.util.List[T])

MapState[K,V]保存key-value对

MapState.get(key:K)

MapState.put(key:K,value:V)

MapState.contains(key:K)

MapState.remove(key:K)

ReducingState[T]

AggregatingState[I,O]

Flink容错机制

1、状态一致

当在分布式系统中引入状态时,自然也引入了一致性问题。一致性实际上是“正确性级别”的另一种说法,也就是说在成功处理故障并恢复之后得到的结果,与没有发生任何故障时得到的结果相比,前者到底有多正确。

Flink的一个重大价值在于,它既保证了exactly-once,也具有低延迟和高吞吐的处理能力。

2、端到端(end-to-end)状态一致性

端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每一个组件都保证了它自己的一致性,整个端到端一致性级别取决于所有组件中一致性最弱的组件。

3、检查点(Checkpoint)

Flink检查点算法的正式名称是异步分界线快照(Asynchronous barrier snapshotting)。该算法大致基于Chandy-Lamport分布式快照算法。

检查点是Flink最有价值的创新之一,因为它使得Flink可以保证exactly-once,并且不需要牺牲性能。

关于大数据入门,Flink状态编程与容错机制,以上就为大家做了简单的介绍了。Flink框架在当前的大数据技术生态当中,热度持续上升,作为大数据开发者,掌握Flink势在必行。

0 人点赞