最新 最热

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务),Likee (短视频创作分享平台),IMO (免费通信工具) 三部分,在全球范围内拥有 4 亿用户。伴随着业务的发展,对数据平台...

2022-03-12
0

手把手教你获取、编译和调试Flink的源代码

获取Flink源代码的方式有两种:一种是通过官网的源代码下载地址直接下载,另一种是通过git clone的方式。

2022-03-11
0

2022年全网首发|大数据专家级技能模型与学习指南(胜天半子篇)

整篇文章约2.5万字(不包含引用和连接内容)。如果这个文章对你有帮助,不要忘记 「在看」「点赞」「收藏」 。

2022-03-11
0

Flink SQL流式聚合Mini-Batch优化原理浅析

流式聚合(streaming aggregation)是我们编写实时业务逻辑时非常常见的场景,当然也比较容易出现各种各样的性能问题。Flink SQL使得用户可以通过简单的聚合函数和GROUP BY子句实现流式聚合,同时也内置了一些优化机制来解决...

2022-03-11
1

我出题,你来算。根据Flink TaskManager内存模型,各部分内存分配?

Hi,我是王知无,一个大数据领域的原创作者。 先上一张官方给出的Flink(1.10版本以后)内存模型图示:

2022-03-11
0

2022年最新版 | Flink经典线上问题小盘点

2020年和2021年分别写了很多篇类似的文章,这篇文章是关于Flink生产环境中遇到的各种问题的汇总。

2022-03-11
0

Flink Forward 2021中一些值得关注的动态

朋友圈很多朋友都看了,观众人数第一天还挺多,第二天大家好像热性消退,观看人减少了很多。

2022-03-11
0

关于大数据Flink内存管理的原理与实现

最近几年国内大数据apache开源社区计算框架最火的莫过于Flink,得益于阿里在后面的推动以及各大互联网大厂的参与,flink业已成为流式计算事实上的标准。一句话来介绍 Flink 就是 “Stateful Computations Over Streams”...

2022-03-11
1

Flink流量控制与反压机制完全总结

笔者最近回顾自己对Flink技术栈细节的理解,发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题,但是不完全理解背后的实现显然说不过去。于是专门写一篇总结,站在大佬们的肩...

2022-03-10
0

浅谈Doris和Flink在广告实时数仓中的实践

Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。...

2022-03-10
0