Flink学习笔记(7) -- Flink 并行度详解(Parallel)

2021-04-13 14:33:48 浏览数 (1)

  Flink的每个TaskManager为集群提供slot。 slot的数量通常与每个TaskManager节点的可用CPU内核数成比例。一般情况下你的slot数是你每个节点的cpu的核数。

  一个Flink程序由多个任务组成(source、transformation和 sink)。 一个任务由多个并行的实例(线程)来执行, 一个任务的并行实例(线程)数目就被称为该任务的并行度。

一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定

  执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。

  执行环境的并行度可以通过显式设置算子的并行度而被重写。

  为了以并行度3来执行所有的算子、数据源和data sink, 可以通过如下的方式设置执行环境的并行度:

  并行度可以在客户端将job提交到Flink时设定。

  对于CLI客户端,可以通过-p参数指定并行度

代码语言:javascript复制
	./bin/flink run -p 10 WordCount-java.jar

  在系统级可以通过设置flink-conf.yaml文件中的parallelism.default属性来指定所有执行环境的默认并行度

0 人点赞