最新 最热

打造大数据平台底层计算存储引擎 | Apache孵化器迎来Linkis!

微众银行开源项目Linkis正式通过Apache软件基金会(ASF)的投票表决,全票通过进入ASF孵化器!

2021-09-22
1

我说Java基础重要,你不信?来试试这几个问题

代码生成技术广泛应用于现代的数据库系统中。代码生成是将用户输入的表达式、查询、存储过程等现场编译成二进制代码再执行,相比解释执行的方式,运行效率要高很多。尤其是对于计算密集型查询、或频繁重复使用的计算过程...

2021-09-22
0

Flink重点难点:Flink Table&SQL必知必会(二)

介绍了 Flink Table & SQL的一些核心概念,本部分将介绍 Flink 中窗口和函数。

2021-09-22
1

Flink重点难点:Flink Table&SQL必知必会(一)

Flink本身是批流统一的处理框架,所以Table API和SQL,就是批流统一的上层处理API。目前功能尚未完善,处于活跃的开发阶段。

2021-09-22
0

Flink重点难点:内存模型与内存结构

Java 虚拟机在执行Java程序的过程中会把它在主存中管理的内存部分划分成多个区域,每个区域存放不同类型的数据。下图所示为java虚拟机运行的时候,主要的内存分区:...

2021-09-22
0

Flink重点难点:维表关联理论和Join实战

数据流操作的另一个常见需求是对两条数据流中的事件进行联结(connect)或Join。Flink DataStream API中内置有两个可以根据时间条件对数据流进行Join的算子:基于间隔的Join和基于窗口的Join。本节我们会对它们进行介绍。...

2021-09-22
0

一网打尽Flink中的时间、窗口和流Join

首先,我们会学习如何定义时间属性,时间戳和水位线。然后我们将会学习底层操作process function,它可以让我们访问时间戳和水位线,以及注册定时器事件。接下来,我们将会使用Flink的window API,它提供了通常使用的各种窗口类...

2021-09-22
1

Flink1.12新特性之Flink SQL时态表小总结

Flink 1.12正式发布后,带来了很多新的特性,本文重点学习和总结一下Flink 1.11和 Flink1.12中时态表的使用和自己的一个小总结,文章如有问题,请大家留言交流讨论,我会及时改正。...

2021-09-18
0

一段有用的代码 | Flink读写parquet文件

Flink读parquetimport org.apache.flink.core.fs.Pathimport org.apache.flink.formats.parquet.ParquetRowInputFormatimport org.apache.flink.streaming.api.scala.Str...

2021-09-18
1

Flink 重点原理与机制 : 网络流控及反压机制

首先我们可以看下这张最精简的网络流控的图,Producer 的吞吐率是 2MB/s,Consumer 是 1MB/s,这个时候我们就会发现在网络通信的时候我们的 Producer 的速度是比 Consumer 要快的,有 1MB/s 的这样的速度差,假定我们两端都有...

2021-09-16
0