最新 最热

一文搞定 Flink Job 的运行过程

之前我们知道了Flink 是如何生成 StreamGraph 以及 如何生成 job 和 如何生成Task,现在我们通过 Flink Shell 将他们串起来,这样我们就学习了从写代码开始到 Flink 运行 task 的整个过程是怎么样的。...

2021-04-25
1

Flink DataStream—— 状态(State)&检查点(Checkpoint)&保存点(Savepoint)原理

​最近一次项目当中需要将大量数据保存再Flink程序当中用作缓存数据一共后续数据使用,隧对最近使用到的状态、检查点、保存点等原理和使用进行一个总结...

2021-04-25
1

又谈SQL-to-SQL翻译器

之前已经浅谈(浅析构建SQL-to-SQL的翻译器),再谈(再谈SQL-to-SQL翻译器)过两次SQL-to-SQL了,这次就只能又谈了,希望这个系列,还能再谈下去,我想做个102年的公众号......

2021-04-23
1

Flink会话窗口和定时器原理详解

在我们使用Flink DataStream API编写业务代码时,aggregate()算子、AggregateFunction、KeyedProcessFunction是非常常用的。下面我们把这两个知识点详细的讲解一下。

2021-04-21
1

Flink在实时在实时计算平台和实时数仓中的企业级应用小结

在过去的这几年时间里,以 Storm、Spark、Flink 为代表的实时计算技术接踵而至。2019 年阿里巴巴内部 Flink 正式开源。整个实时计算领域风起云涌,一些普通的开发者因为业务需要或者个人兴趣开始接触Flink。...

2021-04-21
1

Flink性能调优小小总结

Flink是依赖内存计算,计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成性能瓶颈,并根据情况优化。...

2021-04-21
1

Flink SQL流式聚合Mini-Batch优化原理浅析

流式聚合(streaming aggregation)是我们编写实时业务逻辑时非常常见的场景,当然也比较容易出现各种各样的性能问题。Flink SQL使得用户可以通过简单的聚合函数和GROUP BY子句实现流式聚合,同时也内置了一些优化机制来解...

2021-04-21
1

Flink处理函数实战之四:窗口处理

本文是《Flink处理函数实战》系列的第四篇,内容是学习以下两个窗口相关的处理函数:

2021-04-20
1

Flink RocksDB State Backend:when and how

流处理应用程序通常是有状态的,“记住”已处理事件的信息,并使用它来影响进一步的事件处理。在Flink中,记忆的信息(即状态)被本地存储在配置的状态后端中。为了防止发生故障时丢失数据,状态后端会定期将其内容快照保存到预...

2021-04-16
1

flink分析之Task的生命周期

之前有想过系统地来一番flink源码分析系列,谁曾想工作中需要完成的需求有些多,完整的flink源码分析系列只能一再往后拖了。之前公众号后台有想学习flink的朋友留言想看更多学习flink的资料,现在先发一些之前收藏的关于fl...

2021-04-16
1