最新 最热

Flink中可查询状态是如何工作的

QueryableStates 允许用户对流的内部状态进行实时查询,而无需将结果存储到任何外部存储中。 这制造了许多有趣的可能,因为我们不再需要等待系统写入外部存储(这一直是此类系统的主要瓶颈之一)。 甚至可能没有任何类型的数...

2021-06-29
1

Flink 状态TTL如何限制状态的生命周期

很多有状态流应用程序的常见需求是能够控制应用程序状态的访问时长以及何时删除它。这篇文章介绍了在 1.6.0 版本添加到 Flink 的状态生命周期时间(TTL)功能。...

2021-06-29
1

Flink SQL 客户端如何使用

Flink 的 Table & SQL API 可以处理 SQL 语言编写的查询语句,但是这些查询需要嵌入用 Java 或 Scala 编写的 Table 程序中。此外,这些程序在提交到集群前需要用构建工具打包。这或多或少限制了 Java/Scala 程序员对 Fli...

2021-06-29
1

搭建高可用的flink JobManager HA

JobManager协调每个flink应用的部署,它负责执行定时任务和资源管理。每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后,将不能提交新的任务和运行新任务失败,这样会造成单点失败,所以需要构建高可用的JobM...

2021-06-29
1

刁钻导师难为人?我转手丢给他一个Flink史上最简单双十一实时分析案例

上期带大家用StructredStreaming做了双十一实时报表分析,没看过的朋友可以看看,这是链接: StructredStreaming+Kafka+Mysql(Spark实时计算| 天猫双十一实时报表分析)

2021-06-29
1

Flink 1.13 在Native k8s的部署实践

flink支持多种部署模式,比如standalone、sesson、per job、application,一般在生产环境我们都是将flink程序部署到k8s或者yarn等资源管理器上。目前k8s部署模式暂时不支持per job模式。不过由于k8s部署flink集群相对yar...

2021-06-25
1

2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(建议收藏!!)

下面为大家带来阿里巴巴极度热推的Flink,实时数仓是未来的方向,学好Flink,月薪过万不是梦!!

2021-06-24
1

概要介绍LSM树

这张经典图片来自 Flink PMC 的 Stefan Richter 在Flink Forward 2018演讲的PPT

2021-06-22
1

Flink 学习 — 自定义 Data Sink

前篇文章 《Flink学习》—— Data Sink 介绍 介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。...

2021-06-21
1

数栈技术分享:用短平快的方式告诉你Flink-SQL的扩展实现

数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引...

2021-06-18
1