Flink自1.4.0开始实现exactly-once的数据保证,即在任何情况下都能保证数据对应用产生的效果只有一次,不会多也不会少。
作者:龙逸尘,腾讯 CSIG 高级工程师背景介绍维表(Dimension Table)是来自数仓建模的概念。在数仓模型中,事实表(Fact Table)是指存储有事实记录的表,如系统日志、销售记录等,而维表是与事实表相对应的一种表,它保存了事实表中指...
我们经常需要在一个时间窗口维度上对数据进行聚合,窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理...
朋友多年自主研发的flink-sql 流计算可视化 UI 平台,细细品味一番确实很好用,做到真正的MSP(混合云场景)多数据多复用的情况实现,下面是这个产品的使用说明看看大家有没有使用场景。...
Session 模式和 Per Job 模式的应用场景不一样。Per Job 模式比较适合那种对启动时间不敏感,运行时间较长的任务。
只要source端产生了changelog数据,后面的算子是可以自动处理update消息的,简单理解,你可以认为:
从前年开始,就被公众号上Flink文章频繁的刷屏,看来是时候了解下Flink了。 Flink官网第一句话介绍是数据流上的有状态计算。 我第一眼看这句话感觉很拗口,什么是流上的计算?什么是有状态? 作为菜鸟,我觉的学习Flink最好方法...
本文将演示如何使用 Flink DataStream API 开发一个 Flink CDC 应用。
I'm pleased to announce the release of Apache Kafka 3.0[2] on behalf of the Apache Kafka® community. Apache Kafka 3.0 is a major release in more ways than one. ...
随着需求越累越多,离线的数仓已经不能完全满足需求了,实时数仓可以满足实时化&自动化的决策需求。数据湖支持大量&复杂数据类型(文本、图像、视频、音频)...