最新 最热

Flink 解决 No ExecutorFactory found to execute the application

问题Flink 1.11 开始报错如下:Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application.at org.apache.flink.core...

2020-10-26
0

Flink深入浅出: 资源管理(v1.11)

Flink在资源管理上可以分为两层:集群资源和自身资源。集群资源支持主流的资源管理系统,如yarn、mesos、k8s等,也支持独立启动的standalone集群。自身资源涉及到每个子task的资源使用,由Flink自身维护。...

2020-10-26
0

Flink深入浅出: 应用部署与原理图解(v1.11)

Flink在1.11版本新增了一种部署模式,目前支持三种:Session 模式、Per job 模式、Application 模式,这三种模式主要在集群管理、资源隔离、用户main方法执行位置几个方面有所不同。...

2020-10-26
1

Flink源码阅读之Checkpoint执行过程

对应Flink来说checkpoint的作用及重要性就不细说了,前面文章写过checkpoint的详细过程和checkpoint周期性触发过程。本篇我们在一起根据源码看下checkpoint的详细执行过程。...

2020-10-23
0

基于Flink+ClickHouse打造轻量级点击流实时数仓

Flink和ClickHouse分别是实时计算和(近实时)OLAP领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好。关于两者的优点就不再赘述,本文来简单介绍笔者团队在点击流实时...

2020-10-23
0

Apache Flink 任意 Jar 包上传导致远程代码执行漏洞复现问题(漏洞预警)

Apache Flink是一个用于分布式流和批处理数据的开放源码平台。Flink的核心是一个流数据流引擎,它为数据流上的分布式计算提供数据分发、通信和容错功能。Flink在流引擎之上构建批处理,覆盖本地迭代支持、托管内存和程序...

2020-10-19
0

当 snapshot 失败时发生了什么

工作中遇到了与 snapshot 异常相关的问题,特此总结一下,与 snapshot 相关的流程图如下:

2020-10-16
2

如何在CDH7.1.1集群部署Flink1.10.1

作为新一代流计算引擎,Flink的发展速度是惊人的,尤其是在其母公司被阿里巴巴收购后,Flink在国内工业界已经得到了广泛地应用。本文讲解如何在CDH7.1.1上部署Flink1.10.1。后续会有多篇文章详细介绍Flink的使用和源码分析...

2020-10-15
1

功能强大、文档健全的开源 Python 绘图库 Plotly,手把手教你用!

原文:https://towardsdatascience.com/the-next-level-of-data-visualization-in-python-dd6e99039d5e

2020-10-10
0

Flink History Server

Flink有一个History Server,可以用来在相应的Flink集群关闭后查询已完成作业的统计信息。例如有个批处理作业是凌晨才运行的,并且我们都知道只有当作业处于运行中的状态,才能够查看到相关的日志信息和统计信息。所以如果...

2020-10-09
0