最新 最热

Flink技术整理

首先先拉取Flink的样例代码mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flin...

2021-01-06
1

彻底打通实时数据仓库该如何实现及多种技术架构解析

问题导读1.实时数据仓库有哪些特点?2.公司构建实时数据仓库有哪些好处?3.如何构建实时数据仓库?4.实时数据仓库本文解析了哪些架构?越来越多的实时数据需求,需要更多的实时数据来做业务决策,例如需要依据销售情况做一个资源...

2021-01-05
1

这次来整个高端的API实时QPS流计算

大家好,泥腿子安尼特又和大家见面了。转眼一年又要过去了,我也跌跌撞撞的算是翻完了这本。

2021-01-05
1

那个男人竟然不会Flink的CheckPoint机制

这里已经是Flink的第三篇原创啦。第一篇《Flink入门教程》讲解了Flink的基础和相关概念,第二篇《背压原理》讲解了什么是背压,在Flink背压大概的流程是怎么样的。...

2020-12-31
1

Flink 计算 TopN

使用 flink 很长一段时间了,突然发现竟然没有计算过 topN,这可是 flink 常见的计算场景了, 故自己想了一个场景来计算一下。 基于 Flink 1.12

2020-12-31
1

Flink 计算 PV UV

使用 flink 很长一段时间了,突然发现竟然没有计算过 pv uv,这可是 flink 常见的计算场景了,面试时也是常问题之一。故自己想了一个场景来计算一下。 基于 Flink 1.12...

2020-12-31
1

一文搞懂 Flink 中的锁

之前在介绍 flink timer 的时候( 一文搞懂 Flink Timer ) 官网有这样的一句话

2020-12-31
1

Flink Savepoints和Checkpoints的3个不同点

在本文中,我们将解释什么是 Savepoint,什么会使用它们,并就它们与 Checkpoint 的区别进行对比分析。

2020-12-29
1

Flink 从Checkpoint中恢复作业

如果我们的任务已经执行很长时间,突然遇到故障停止,那么中间过程处理结果就会全部丢失,重启后需要重新从上一次开始的位置消费,这会花费我们很长的时间。这种结局显示我们不能接受,我们希望的是作业在故障失败重启后能保留...

2020-12-29
1

图解 Flink Checkpoint 原理及在 1.11 版本的优化

上次发文,提到了 Flink 可以非常高效的进行有状态流的计算,通过使用 Flink 内置的 Keyed State 和 Operator State,保存每个算子的状态。

2020-12-29
1