最新 最热

Flink数据倾斜理解

数据倾斜就是数据的分布严重不均,流入部分算子的数据明显多余其他算子,造成这部分算子压力过大。

2023-01-16
0

Flink开发-生成Jar(Maven依赖处理)

依次执行:clean、resources、compile、testResources、testCompile、test、jar(打包)。

2023-01-14
0

Flink中DataStream和Table互相转换

前言Flink 为处理一列转多列的场景提供了两种返回类型 Tuple 和 RowTuple 只支持1~25个字段,且不能为null,不支持拓展Row 支持null同时也无限制字段数,但如果需要使用Row,必须重载实现getResultType方法DataStream=>Table...

2023-01-13
0

Apache Hudi 0.12.2发布

我们的目标是维护 0.12 更长时间,并通过最新的 0.12.x 版本提供稳定版本供用户迁移。 此版本 (0.12.2) 是最新的 0.12 版本。

2023-01-12
0

腾讯游戏广告流批一体实时湖仓建设实践

腾讯游戏广告业务对数据准确性和实时性均有诉求,因此数据开发团队分别搭建了离线及实时数仓。技术视角下,这是典型的Lambda架构,存在数据口径不一致、开发维护成本高等弊端。在降本增效的大背景下,我们针对结合计算引擎Fl...

2023-01-10
1

Flink被阿里巴巴买后,果然还是废了

Flink Forward Asia 2022最近在开,有关Flink的讨论,又开始在国内热闹起来。从技术上来说,Flink当然已经是streaming processing的一个标杆了。

2023-01-10
0

Flink基于两阶段聚合及Roaringbitmap的实时去重方案

去重是大数据计算中的常见场景,本文介绍了Flink结合数据倾斜问题的一般性解决方案——两阶段聚合,以及位图(Bitmap)的优化版数据结构——Roaringbitmap给出的一种实时去重解决方案,并在最后与其他方案进行了对比。...

2023-01-03
1

大数据Kudu(十):Flink操作Kudu

Flink主要应用场景是流式数据处理上,有些公司针对流式数据使用Flink实时分析后将结果存入Kudu,例如快手公司。这里将实时计算的结果存入Kudu需要自定义Flink Kudu Sink。...

2022-12-30
0

Flink SQL 知其所以然(三十):Explain、Show、Load、Set 子句

大家好,我是老羊,今天我们来学习 Flink SQL 中的的 Explain、Show、Load、Set 共 4 个子句。

2022-12-16
0

大数据相关服务版本及端口号和访问地址

http://192.168.7.101:50070/explorer.html#/

2022-12-16
1