最新 最热

Flink 写入数据到 Kafka

通过Flink官网可以看到Flink里面就默认支持了不少sink,比如也支持Kafka sink connector(FlinkKafkaProducer),那么这篇文章我们就来看看如何将数据写入到Kafka。...

2022-06-17
0

flink 简单入门

安装查看java 版本,我的版本是java 8下载flink,下载地址https://flink.apache.org/downloads.html下载完了之后,解压并且执行:./start-

2022-06-17
0

Flink 配置文件详解

flink 的安装参照:flink 简单入门, 我们来了解下flink的配置文件。

2022-06-17
0

Data Sink 介绍

如上图,Source 就是数据的来源,中间的 Compute 其实就是 Flink 干的事情,可以做一系列的操作,操作完后就把计算后的数据结果 Sink 到某个地方。(可以是 MySQL、ElasticSearch、Kafka、Cassandra 等)。这里我说下自己目前做...

2022-06-17
1

Flink JobManager 内存管理机制介绍与调优总结

我们知道,旧版本 Flink 的 JobManager 作为管理者,只承担着初始化和协调的任务,内存压力非常小,很少出现 OOM 等问题。

2022-06-17
1

Flink写Elasticsearch导致Checkpoint频繁失败的解决方案

最近做的一个需求,在一个Flink程序中,根据数据里面的ip进行分流,每个流对应一个ES的索引,一共有14个索引,开启checkpoint。

2022-06-17
0

Flink RocksDB托管内存机制的幕后—Cache & Write Buffer Manager

为了解决Flink作业使用RocksDB状态后端时的内存超用问题,Flink早在1.10版本就实现了RocksDB的托管内存(managed memory)机制。用户只需启用state.backend.rocksdb.memory.managed参数(默认即为true),再设定合适的TaskMa...

2022-06-17
1

一站式大数据解决方案分析与设计实践:BI无缝整合Apache Kylin

今天随着移动互联网、物联网、大数据、AI等技术的快速发展,数据已成为所有这些技术背后最重要,也是最具价值的“资产”,同时数据也是每一个商业决策的基石,越来越多的企业选择数字化转型,但数据驱动增长然充满挑战,企业数据...

2022-06-15
0

实操Apache Flink上传路径遍历(CVE-2020-17518)

Apache Flink 1.5.1引入了一个REST处理程序,允许您通过恶意修改的HTTP头将上传的文件写入到本地文件系统上的任意

2022-06-15
0