最新 最热

flink_sql_client 1.10 与 hive集成 读取实时数据

很期待用纯sql的形式来处理流式数据,flink 1.10推出了生产可用的 Hive 集成,拥有了更强的流式 SQL 处理能力。这次我们就来尝试一下啦~~

2020-04-18
1

Flink_sql_client1.10源码在IDEA中集成hive并运行

最近一直在跟进flink_sql,为以后做更深入的了解做准备,这篇主要记录一下运行sql_client源码的过程~~

2020-04-18
1

超200万?约翰斯·霍普金大学数据错误!——谈谈如何保证实时计算数据准确性

作为全球新冠疫情数据的实时统计的权威,约翰斯—霍普金斯大学的实时数据一直是大家实时关注的,也是各大媒体的主要数据来源。在今天早上的相当一段长的时间,霍普金斯大学的全球疫情分布大屏中显示,全球确诊人数已经突破20...

2020-04-16
0

阅读源码|Spark 与 Flink 的 RPC 实现

近日常有同学来问我如何阅读代码,关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量,正好此前综合地阅读 Spark 的 RPC 实现、Flink 基于 Akka 的 RPC 实现和 Actor Model 的通信模...

2020-04-15
1

盘一盘 Python 系列 10 - Cufflinks

Cufflinks 是一个可视化的库,可以无缝衔接 pandas 和 plotly,前者中的 dataframe 在数据分析中无处不在,后者的交互式让可视化又上一个台阶。Cufflinks 连接了两者,必须要了解一下。...

2020-04-14
0

Apache Flink并行度设置详解(Parallel Execution)

Apache Flink支持在不同的级别设置并行度。配置文件、env级别、算子级别。

2020-04-14
0

Apache Flink Table API的Catalog

“ Apache Flink的Table API提供了对数据注册为Table的方式, 实现把数据通过SQL的方式进行计算。Table API与SQL API实现了Apache Flink的批流统一的实现方式。Table API与SQL API的核心概念就是TableEnviroment。Tabl...

2020-04-14
0

Apache Flink中的各个窗口时间的概念区分

“ Apache Flink中提供了基于时间的窗口计算,例如计算五分钟内的用户数量或每一分钟计算之前五分钟的服务器异常日志占比等。因此Apache Flink在流处理中提供了不同时间的支持。”...

2020-04-14
0

Apache Flink基本编程模型

“前一篇文章中<一文了解Flink数据-有界数据与无界数据>大致讲解了Apache Flink数据的形态问题。Apache Flink实现分布式集合数据集转换、抽取、分组、统计等。根据数据源的类型,即为有界数据与无界数据,提供了DataSet...

2020-04-14
0

一文了解Flink数据-有界数据与无界数据

有界数据集对开发者来说都很熟悉,在常规的处理中我们都会从Mysql,文本等获取数据进行计算分析。我们在处理此类数据时,特点就是数据是静止不动的。也就是说,没有再进行追加。又或者说再处理的当时时刻不考虑追加写入操作...

2020-04-14
0