最新 最热

实时即未来:Apache Flink实践(二)

俗话说,工善预其事必先利其器!这句话说的不无道理,所以今天,就来讲一讲如何在一个版本不够的Windows电脑上学习 apache flink 知识。

2022-04-25
0

Flink分布式系统一致性快照Checkpoint机制详解

说明:本文分为四个部分内容:背景、Chandy_Lamport算法、Flink Checkpoint对齐机制和总结。

2022-04-25
0

Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略 ​

之前笔者在介绍 Flink 1.11 Hive Streaming 新特性时提到过,Flink SQL 的 FileSystem Connector 为了与 Flink-Hive 集成的大环境适配,做了很多改进,而其中最为明显的就是分区提交(partition commit)机制。...

2022-04-25
0

Flink优化器与源码解析系列--算子Chain策略优化

Flink 任务是一个DAG图,由多个节点(Operator)组成,部分上下游的节点在运行时可以合成为一个节点,称为算子链Chain。Chain后的节点,总CPU为所有节点CPU的最大值,总内存为所有节点内存的总和。多节点合成一个节点可以有效的减...

2022-04-25
0

Flink优化器与源码解析系列--内存模型详解

本文参考Flink1.10官方多篇文章相关知识收集、翻译、整合和内化而写成的关于Flink内存模型详解的文章,其中Job Manager、Task Manager和Client 分别是什么,各自之间的运行关系怎样,任务运行过程中所使用任务槽和资源情况...

2022-04-25
0

Flink优化器与源码解析系列--Flink相关基本概念

Apache Flink是用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎,可为数据流上的分布式计算提供数据分发,通信和容错能力。Flink在流引擎之上构建批处理,覆盖了本机迭代支持,托管内存和程序优化。本文...

2022-04-25
0

Flink优化器与源码解析系列--让Flink飞奔起来这篇文章就够啦(一)

ApacheFlink是一个框架和分布式处理引擎,用于在无限和有界数据流上进行有状态计算。Flink被设计成在所有常见的集群环境中运行,以内存速度和任何规模执行计算。...

2022-04-25
1

Flink DataStream 类型系统 TypeInformation

Flink DataStream 应用程序所处理的事件以数据对象的形式存在。函数调用时会传入数据对象,同时也可以输出数据对象。因此,Flink 在内部需要能够处理这些对象。当通过网络传输或者读写状态后端、检查点以及保存点时,需要...

2022-04-23
1

Apache Log4j 远程代码执行漏洞批量检测工具

漏洞描述 由于Apache Log4j2某些功能存在递归解析功能,攻击者可直接构造恶意请求,触发远程代码执行漏洞。漏洞利用无需特殊配置,Apache Struts2、Apache Solr、Apache Druid、Apache Flink等均受影响。影响版本Apach...

2022-04-19
0

Flink处理腾讯云数据订阅消息实践

在业务场景中,经常会有监听数据库数据变更的诉求,如数据同步、数据推送等场景。对于Mysql,可以监听其binlog日志,并输出到消息队列完成订阅,而腾讯云上有各种各样数据库,还有一些自研的数据库,都让用户来自研对接的方式显然...

2022-04-19
0