最新 最热

分布式计算—MapReduce、Spark、Storm、Flink分别适用什么场景

链接:https://www.zhihu.com/question/403840013/answer/1317631316

2021-03-05
0

Flink 资源分配和并行度深度剖析

TaskManager 执行具体的 Task。TaskManager 为了对资源进行隔离和增加允许的task数,引入了 slot 的概念,这个 slot 对资源的隔离仅仅是对内存进行隔离,策略是均分,比如 taskmanager 的管理内存是 3 GB,假如有两个 slot,那么...

2021-03-05
0

Flink 在实时金融数据湖的应用

导读:本文由中原银行大数据平台研发工程师白学余分享,主要介绍实时金融数据湖在中原银行的应用。主要内容包括:

2021-03-05
1

腾讯基于 Flink SQL 的功能扩展与深度优化实践

摘要:本文由腾讯高级工程师杜立分享,主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化,内容包括:

2021-03-05
0

Flink 助力美团数仓增量生产

摘要:本文由美团研究员、实时计算负责人鞠大升分享,主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括:

2021-03-05
1

分析 BAT 互联网巨头在大数据方向布局及大数据未来发展趋势

大数据起源于2000年左右,也就是互联网高速发展阶段。经过几年的发展,到2008年 Hadoop 成为 Apache 顶级项目,迎来了大数据体系化的快速发展期,到如今 Hadoop 已不单单指一个软件,而成为了大数据生态体系的代名词。...

2021-03-04
0

Flink可靠性的基石-checkpoint机制详细解析

checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保 证应用流图状态的一致性。Flink的checkpoint机制原理来自...

2021-03-04
0

Flink 中极其重要的 Time 与 Window 详细解析(深度好文,建议收藏)

流式:就是数据源源不断的流进来,也就是数据没有边界,但是我们计算的时候必须在一个有边界的范围内进行,所以这里面就有一个问题,边界怎么确定?无非就两种方式,根据时间段或者数据量进行确定,根据时间段就是每隔多长时间就划分...

2021-03-04
1

flink-1:flink1.11.3单机部署并开启prometheus-metrics

https://www.apache.org/dyn/closer.lua/flink/flink-1.11.3/flink-1.11.3-bin-scala_2.12.tgz

2021-03-03
0

Spark笔记1-入门Hadoop

spark(2009年)是一个单纯的计算框架,比MapReduce更佳,取而代之,本身不具备存储能力。火的原因:社区好、企业支持早

2021-03-02
0