最新 最热

一文搞懂 flink 处理水印全过程

前面,我们已经学过了 一文搞懂 Flink 处理 Barrier 全过程,今天我们一起来看一下 flink 是如何处理水印的,以 Flink 消费 kafka 为例

2020-12-29
1

Flink 核心组件原理 多图剖析

TaskManager 是工作节点,负责数据交换,跑多个线程的 task,执行任务。

2020-12-29
1

Flink Table API/SQL 是如何变成程序运行的

如上图,最下面一层是 Process Function ,可以去做一些有状态的计算,注册 Timer 定时器,可以做更复杂的操作,灵活性更高,可以做非常复杂的定制开发;...

2020-12-29
1

Flink 数据湖 助力美团数仓增量生产

整个架构图分为三层,从下往上看,最下面一层是数据安全,包括受限域认证系统、加工层权限系统,应用层权限系统,安全审计系统,来保证最上层数据集成与处理的安全;...

2020-12-29
1

Flink State 误用之痛,竟然 90% 以上的 Flink 开发都不懂

本文主要讨论一个问题:ValueState 中存 Map 与 MapState 有什么区别?

2020-12-28
1

构建技术中台——基于SQL的批流一体化ETL

本文介绍了 SparkSQL 和 Flink 对于批流支持的特性以及批流一体化支持框架的难点。在介绍批流一体化实现的同时,重点分析了基于普元 SparkSQL-Flow 框架对批流支持的一种实现方式。希望对大家的工作有所帮助,也希望能对...

2020-12-24
1

flink 1.11.2 学习笔记(4)-状态示例

接上节继续,今天学习Flink中状态的使用。数据处理的过程中,对当前数据的处理,有时候要依赖前一条数据的值,这种被称为“有状态”的计算。

2020-12-22
1

flink 1.11.2 学习笔记(3)-统计窗口window

接上节继续,通常在做数据分析时需要指定时间范围,比如:"每天凌晨1点统计前一天的订单量" 或者 "每个整点统计前24小时的总发货量"。这个统计时间段,就称为统计窗口。Flink中支持多种Window统计,今天介绍二种常见的窗口:Tumb...

2020-12-22
1

基于Flink打造实时计算平台为企业赋能

随着互联网技术的广泛使用,信息的实时性对业务的开展越来越重要,特别是业务的异常信息,没滞后一点带来的就是直接的经济损失。所以实时信息处理能力,越来越成为企业的重要竞争力之一。Flink作为业内公认的性能最好的实时...

2020-12-18
1

Flink On K8S终极实现方案

Flink作为新一代的大数据处理引擎,不仅是业内公认的最好的流处理引擎,而且具备机器学习等多种强大计算功能,用户只需根据业务逻辑开发一套代码,无论是全量数据还是增量数据,亦或者实时处理,一套方案即可全部解决。K8S是业内...

2020-12-18
1