最新 最热

Flink如何实现Exactly-once语义?

Flink自1.4.0开始实现exactly-once的数据保证,即在任何情况下都能保证数据对应用产生的效果只有一次,不会多也不会少。

2022-06-01
1

Flink SQL 优化实战 - 维表 JOIN 优化

作者:龙逸尘,腾讯 CSIG 高级工程师背景介绍维表(Dimension Table)是来自数仓建模的概念。在数仓模型中,事实表(Fact Table)是指存储有事实记录的表,如系统日志、销售记录等,而维表是与事实表相对应的一种表,它保存了事实表中指...

2022-05-30
1

Flink window

我们经常需要在一个时间窗口维度上对数据进行聚合,窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理...

2022-05-30
1

flink-sql 流计算可视化 UI 平台

朋友多年自主研发的flink-sql 流计算可视化 UI 平台,细细品味一番确实很好用,做到真正的MSP(混合云场景)多数据多复用的情况实现,下面是这个产品的使用说明看看大家有没有使用场景。...

2022-05-29
1

Flink on Yarn和k8s

Session 模式和 Per Job 模式的应用场景不一样。Per Job 模式比较适合那种对启动时间不敏感,运行时间较长的任务。

2022-05-29
1

Flink如何处理update数据

只要source端产生了changelog数据,后面的算子是可以自动处理update消息的,简单理解,你可以认为:

2022-05-26
1

Flink教程(1) Flink DataStream 创建数据源 转换算子「建议收藏」

从前年开始,就被公众号上Flink文章频繁的刷屏,看来是时候了解下Flink了。 Flink官网第一句话介绍是数据流上的有状态计算。 我第一眼看这句话感觉很拗口,什么是流上的计算?什么是有状态? 作为菜鸟,我觉的学习Flink最好方法...

2022-05-26
1

Flink CDC 2.2.1 + Flink 1.13 开发一个简单的CDC项目

本文将演示如何使用 Flink DataStream API 开发一个 Flink CDC 应用。

2022-05-26
1

大数据技术周报第 009 期

I'm pleased to announce the release of Apache Kafka 3.0[2] on behalf of the Apache Kafka® community. Apache Kafka 3.0 is a major release in more ways than one. ...

2022-05-26
1

大数据技术周报第 007 期

随着需求越累越多,离线的数仓已经不能完全满足需求了,实时数仓可以满足实时化&自动化的决策需求。数据湖支持大量&复杂数据类型(文本、图像、视频、音频)...

2022-05-26
1