最新 最热

一段Flink连接Kafka输出到HDFS的代码

其中flink-connector-filesystem_2.11是将Hadoop作为Flink的BucketingSink接入,

2020-06-12
0

Apache Spark有哪些局限性

Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题,并且如今非常流行。但工业正在转移朝向apache flink。

2020-06-12
0

Spark Streaming,Flink,Storm,Kafka Streams,Samza:如何选择流处理框架

根据最新的统计显示,仅在过去的两年中,当今世界上90%的数据都是在新产生的,每天创建2.5万亿字节的数据,并且随着新设备,传感器和技术的出现,数据增长速度可能会进一步加快。 从技术上讲,这意味着我们的大数据处理将变得更加复...

2020-06-11
0

写给大忙人看的 Flink Window原理

Window 可以说是 Flink 中必不可少的 operator 之一,在很多场合都有很非凡的表现。今天呢,我们就一起来看一下 window 是如何实现的。

2020-06-11
1

《你问我答》第二期 | 解答关于TubeMQ、TBase、Oceanus与数据湖的疑问

各位小伙伴们大家好,我们又见面啦~ 上一期的《你问我答》中 我们的专家解答了大伙对于腾讯大数据团队的开源项目,以及技术实践等方面的一些疑问 与此同时,我们在后台收到了更多的问题 所涉及的话题和专业领域也更加广泛 ...

2020-06-06
0

一张图,搞定大数据工程师的成长路径

上面这几种情况,一看就是没经历过真实项目,也没有受过系统训练导致的,我们做大数据的薪酬是高,但门槛也是高,因为不管你是什么级别,所需要的技术栈你都应该用过,否则,别说大厂了,进中小企业都难。...

2020-06-05
1

一文搞定 Flink 消费消息的全流程

当 Flink 程序启动,leader、blobServer 等都创建完毕,当 ExecutionGraph 构建完成,提交成功之后。就到了,task 正式执行的阶段了。这个时候,一条消息是如何流转的呢? 首先,进入了 Task 的 run 方法...

2020-06-04
0

Flink-1.10中的StreamingFileSink相关特性

Flink流式计算的核心概念,就是将数据从Source输入流一个个传递给Operator进行链式处理,最后交给Sink输出流的过程。本篇文章主要讲解Sink端比较强大一个功能类StreamingFileSink,我们基于最新的Flink1.10.0版本进行讲解...

2020-06-04
1

用户画像大数据环境搭建——从零开始搭建实时用户画像(四)

本章我们开始正式搭建大数据环境,目标是构建一个稳定的可以运维监控的大数据环境。我们将采用Ambari搭建底层的Hadoop环境,使用原生的方式搭建Flink,Druid,Superset等实时计算环境。使用大数据构建工具与原生安装相结合的...

2020-06-02
0

彻底搞懂 Flink Kafka OffsetState 存储

写给大忙人看的Flink 消费 Kafka 已经对 Flink 消费 kafka 进行了源码级别的讲解。可是有一点没有说的很明白那就是 offset 是怎么存储到状态中的?

2020-06-02
0