GlobalPartitioner 分区器会将上游所有元素都发送到下游的第一个算子实例上(SubTask Id = 0)
时间: 2024-05-25 11:13:04 浏览: 15
分区管理算法模拟--最先分配发
是的,GlobalPartitioner 分区器会将上游所有元素都发送到下游的第一个算子实例上(SubTask Id = 0)。这种分区方式可以确保所有元素都被发送到同一个实例上,从而避免了数据倾斜问题。但是,这也会导致该实例的负载变得非常重,可能会成为整个作业的瓶颈。因此,在使用 GlobalPartitioner 分区器时,需要根据数据量和实例配置等因素,进行合理的调整和优化。
阅读全文