最新 最热

Flink 基本工作原理

Flink是新的stream计算引擎,用java实现。既可以处理stream data也可以处理batch data,可以同时兼顾Spark以及Spark streaming的功能,与Spark不同的是,Flink本质上只有stream的概念,batch被认为是special stream。Flink在运...

2022-11-30
1

Flink之Watermark实践

我们知道实时计算中,数据时间比较敏感,有eventTime和processTime区分,一般来说eventTime是从原始的消息中提取过来的,processTime是Flink自己提供的,Flink中一个亮点就是可以基于eventTime计算,这个功能很有用,因为实时数据...

2022-11-30
1

简单实时计算方案(kafka+flink+druid/es)

最近在从事实时方面的工作,主要涉及到数据处理、加工及可视化,在采坑的过程中总结出一套比较简单的实时计算方案,供大家参考。主要涉及到几个组件,kafka,flink,redis,druid和es。相信大家对以上几个组件都比较熟悉了,这里就不...

2022-11-30
1

Flink实战(六) - Table API & SQL编程

Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡,并针对不同的用例。

2022-11-30
1

Flink实战(八) - Streaming Connectors 编程

Flink内置了一些基本数据源和接收器,并且始终可用。该预定义的数据源包括文件,目录和插socket,并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。...

2022-11-30
1

Flink实战(八) - Streaming Connectors 编程

Flink内置了一些基本数据源和接收器,并且始终可用。该预定义的数据源包括文件,目录和插socket,并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。...

2022-11-30
1

Flink实战(四) - DataSet API编程

◆ DataSet API开发概述 ◆ 计数器 ◆ DataSource ◆ 分布式缓存 ◆ Transformation ◆ Sink

2022-11-30
1

Flink实战(五) - DataStream API编程

Flink中的DataStream程序是实现数据流转换的常规程序(例如,过滤,更新状态,定义窗口,聚合)。 最初从各种源(例如,消息队列,套接字流,文件)创建数据流。 结果通过接收器返回,接收器可以例如将数据写入文件或标准输出(例如命令行终端)...

2022-11-30
1

Flink实战(七) - Time & Windows编程

掌握Flink中三种常用的Time处理方式,掌握Flink中滚动窗口以及滑动窗口的使用,了解Flink中的watermark。

2022-11-30
1

Flink实战(三) - 编程范式及核心概念

Flink程序是实现分布式集合转换的常规程序(例如,过滤,映射,更新状态,加入,分组,定义窗口,聚合)。最初从源创建集合(例如,通过从文件,kafka主题或从本地的内存集合中读取)。结果通过接收器返回,接收器可以例如将数据写入(分布式)文件或...

2022-11-30
1