Flink PartitionerFlink Partitioner

2021-11-24 13:23:15 浏览数 (1)

GlobalPartitioner

GlobalPartitioner 分区器会将上游所有元素都发送到下游的第一个算子实例上(SubTask Id = 0)

ForwardPartitioner

发送到下游对应的第一个task,保证上下游算子并行度一致,即上有算子与下游算子是1:1的关系

BroadcastPartitioner

发送到下游所有的算子实例

ShufflePartitioner

随机选择一个下游算子实例进行发送

RebalancePartitioner

通过循环的方式依次发送到下游的task

RescalePartitioner

基于上下游Operator的并行度,将记录以循环的方式输出到下游Operator的每个实例。

举例: 上游并行度是2,下游是4,则上游一个并行度以循环的方式将记录输出到下游的两个并行度上;上游另一个并行度以循环的方式将记录输出到下游另两个并行度上。

若上游并行度是4,下游并行度是2,则上游两个并行度将记录输出到下游一个并行度上;上游另两个并行度将记录输出到下游另一个并行度上

0 人点赞