flink实战之解决金融数据聚合问题一

2019-06-28 11:46:41 浏览数 (1)

时间模型

Flink提供了三种时间模型,EventTime、IngestionTime、WindowProcessingTime如下图:

EventTime:

EventTime是事件在现实世界中发生的时间,ProcessingTime是Flink系统处理该事件的时间。事件时间是每条事件在它产生的时候记录的时间,该时间记录在事件中,在处理的时候可以被提取出来。小时的时间窗处理将会包含事件时间在该小时内的所有事件,而忽略事件到达的时间和到达的顺序。事件时间处理通常存在一定的延时,因此自然的需要为延时和无序的事件等待一段时间。因此,使用事件时间编程通常需要与处理时间相结合。

IngestionTime:

摄入时间是事件进入flink的时间,在source operator中,每个事件拿到当前时间作为时间戳,后续的时间窗口基于该时间。

摄入时间在概念上处于事件时间和处理时间之间,与处理时间相比稍微昂贵一点,但是能过够给出更多可预测的结果。因为摄入时间使用的是source operator产生的不变的时间,后续不同的operator都将基于这个不变的时间进行处理,但是处理时间使用的是处理消息当时的机器系统时钟的时间。与事件时间相比,摄入时间无法处理延时和无序的情况,但是不需要明确执行如何生成watermark。在系统内部,摄入时间采用更类似于事件时间的处理方式进行处理,但是有自动生成的时间戳和自动的watermark。

ProcessingTime:

流处理程序使用该时间进行处理的时候,所有的操作(类似于时间窗口)都会使用当前机器的时间,例如按照小时时间窗进行处理,程序将处理该机器一个小时内接收到的数据。处理时间是最简单的概念,不需要协调机器时间和流中事件相关的时间。他提供了最小的延时和最佳的性能。但是在分布式和异步环境中,处理时间不能提供确定性,因为它对事件到达系统的速度和数据流在系统的各个operator之间处理的速度很敏感。

Watermark:

flink中检测事件时间处理进度的机制是watermark,watermark跟事件一样在流中进行传输并携带一个时间戳t。一个watermark(t)声明了在流中的事件时间有一个到达时间t,意味着流中应该不再有时间比t小的事件(例如某个事件的时间戳比watermark的时间戳老)。watermark主要用来处理事件时间戳乱序的事件流。

金融数据的特点:

金融数据主要指每秒产生的实时交易数据,这些数据需要根据不同的维度,如1min,5min,15min,30min,60min,日,周、月、年等进行价格高开低收的聚合,然后在金融软件上进行kline展示。下面的例子是将每秒的交易数据通过flink进行分钟维度的切分,具体聚合和存储的部分将在后面的文章中讲述。

一个模拟生成金融数据的源:

生成的数据格式如下图:

在flink端的处理代码为:

设置的窗口长度为1min,处理结果为:

可见每分钟接收到的数据都会落在同一个窗口中,即使数据有乱序,发生在前面的数据延时到达了也没关系,因为这里的watermark设置了5s钟的延时机制,在5s钟延时以内的数据会正常进入属于自己的窗口,5s钟以上的延时数据则不会被处理。

0 人点赞