最新 最热

Flink学习笔记(3) -- Flink API解析

source是程序的数据源输入,你可以通过StreamExecutionEnvironment.addSource(sourceFunction)来为你的程序添加一个source。

2021-04-13
0

Flink学习笔记(2) -- Flink部署

https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgz

2021-04-13
1

Flink学习笔记(8) -- Flink Kafka-Connector详解

当checkpoint机制开启的时候,Kafka Consumer会定期把kafka的offset信息还有其他operator的状态信息一块保存起来。当job失败重启的时候,Flink会从最近一次的checkpoint中进行恢复数据,重新消费kafka中的数据。...

2021-04-13
0

Flink学习笔记(7) -- Flink 并行度详解(Parallel)

Flink的每个TaskManager为集群提供slot。 slot的数量通常与每个TaskManager节点的可用CPU内核数成比例。一般情况下你的slot数是你每个节点的cpu的核数。

2021-04-13
0

Flink学习笔记(6) -- Flink Window和Time详解

聚合事件(比如计数、求和)在流上的工作方式与批处理不同。比如,对流中的所有元素进行计数是不可能的,因为通常流是无限的(无界的)。所以,流上的聚合需要由 window 来划定范围,比如 “计算过去的5分钟” ,或者 “最后100个元素...

2021-04-13
1

Flink浅谈入门+vsSparkStreaming+流语义性etc.

Flink https://flink.apache.org/zh/ 1.

2021-04-13
0

带你认识Apache的顶级项目Flink!

Apache Flink 是由 Apache 软件基金会开发的开源流处理框架,其核心是用 Java 和 Scala 编写的分布式流数据流引擎。Flink 以数据并行和流水线方式执行任意流数据程序,Flink 的 流水线运行时系统可以执行批处理和流处理...

2021-04-13
0

flink中sink出Csv格式注意

https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/datastream_api.html#data-sinks

2021-04-12
0

flink中使用webUI查看信息时job not found

A1 报错 这个报错不影响执行A2 原因上一次任务的webUI界面没有关闭,导致flink请求一个不存在的网页 A3 解决关闭上次任务的网页(删掉后面的url信息)

2021-04-12
1

Flink中使用Scala编写出现(...)错误

在算子前添加 import org.apache.flink.api.scala._

2021-04-12
1