最新 最热

Flink 1.9 实时计算 -- SQL使用方面注意点

Flink 1.9 版本开源了很多 Blink 方面的功能,尤其是在 SQL 方面,这使得我们在开发 Flink 实时任务变得更加方便。目前 Blink SQL 支持了 Create Table 功能,以及维表的功能。我们的实时任务整体流程为,读取Kafka的数据,然...

2022-06-23
1

Flink 1.9 - SQL 空闲状态保留时间实现原理

最近在做 Flink SQL 方面的研究,我们有这样一个场景,就是按照天来实时统计截止到当前时刻的某些指标值。Flink SQL 中会使用状态来存储统计后的结果值,但是有一个问题就是,其实统计的指标值也只有当天才会用到,后续其实很...

2022-06-23
0

Flink 实时计算 - SQL 维表 Join 的实现

Flink 1.9 版本可以说是一个具有里程碑意义的版本,其内部合入了很多 Blink Table/SQL 方面的功能,同时也开始增强 Flink 在批处理方面的能力,真的是向批流统一的终极方向开始前进。本文主要介绍学习 Flink SQL 维表 Join...

2022-06-23
0

Flink 实时计算 - 维表 Join 的实现

前言Flink 1.9 版本可以说是一个具有里程碑意义的版本,其内部合入了很多 Blink Table/SQL 方面的功能,同时也开始增强 Flink 在批处理方面的能力,真的是向批流统一的终极方向开始前进。Flink 1.9 版本在 8.22 号也终于发...

2022-06-23
0

吾日三省吾身-深入理解Flink Checkpoint和Savepoint

为了保证程序的容错恢复以及程序启动时其状态恢复,几乎所有的 Flink 实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。为了使得用户更加理解这两点区别,本文结合 Flink 1.9 版本,重点讲述 Flink Checkpoi...

2022-06-23
0

Flink 1.9 特性学习和Blink SQL Parser 功能使用

本文对 Flink 1.9版本特性进行了解读(基于社区邮件组讨论),同时对Blink 开源版本 flink-sql-parser 模块进行学习了解,和大家一起交流分享。

2022-06-23
0

hudi表流式regular inner join关联写入宽表实践

这种情况下会等待product流到来并关联再往下游输出,此时再往product表写数据

2022-06-19
0

Flink技术内幕之文件系统

Flink 通过 org.apache.flink.core.fs.FileSystem 类有自己的文件系统抽象。 这种抽象提供了一组通用的操作和跨各种类型的文件系统实现的最小保证。

2022-06-19
0

Databricks一次拿了SIGMOD两个大奖

新粉请关注我的公众号在最近费城召开的SIGMOD2022上,Databricks当仁不让成为了赢家,一共拿到了两项大奖:1.Spark拿到了SIGMOD System Award2.Photon拿到了Best Industry Paper AwardSIGMOD和VLDB是数据库领域两大顶级会...

2022-06-17
0

自定义Data Sink

上一篇文章介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。...

2022-06-17
0