最新 最热

聊聊Flink必知必会(五)

对数据流执行keyBy()操作后,再调用window()方法,就会返回WindowedStream,表示分区后又加窗的数据流。如果数据流没有经过分区,直接调用window()方法则会返回AllWindowedStream。...

2023-11-18
1

Windows环境下Flink消费Kafka实现热词统计

昨天博主写了《windows环境下flink入门demo实例》实现了官方提供的最简单的单词计数功能,今天升级下,将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。本文实现的重点主要有两个部分,一是kafka环...

2023-11-18
1

Flink 内存配置学习总结

Apache Flink通过严格控制其各种组件的内存使用,在JVM之上提供高效的工作负载。

2023-11-07
1

Flink日志采集-ELK可视化实现

针对按照⽇志⽂件⼤⼩滚动⽣成⽂件的⽅式,可能因为某个错误的问题,需要看好多个⽇志⽂件,还有Flink on Yarn模式提交Flink任务,在任务执行完毕或者任务报错后container会被回收从而导致日志丢失,为了方便排查问题可以把⽇...

2023-11-05
1

全网最详细4W字Flink全面解析与实践(下)

Flink是一个有状态的流式计算引擎,所以会将中间计算结果(状态)进行保存,默认保存到TaskManager的堆内存中。

2023-11-02
1

全网最详细4W字Flink全面解析与实践(上)

在大数据技术栈的探索中,我们曾讨论了离线计算的Spark,而当谈到实时计算,就不得不提Flink。本文将集中讨论Flink,旨在详尽展示其核心概念,从而助力你在大数据旅程中向前迈进。...

2023-10-28
1

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(五)FineBI可视化

官方文档:https://help.fanruan.com/finebi/doc-view-363.html

2023-10-22
1

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案

逆地理编码:https://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding-abroad

2023-10-22
1

Flink之状态编程

摘要本文将从状态的概念入手,详细介绍 Flink 中的状态分类、状态的使用、持久化及状态后端的配置。

2023-10-20
1

Flink之处理函数

摘要处理函数(ProcessFunction)了。处理函数提供了一个“定时服务”(TimerService),我们可以通过它访问流中的事件(event)、时间戳(timestamp)、水位线(watermark),甚至可以注册“定时事件”。而且处理函数继承了 AbstractRichFun...

2023-10-20
1