repartition是转换算子
时间: 2024-04-18 20:31:09 浏览: 61
HBFQ_Repartition_MI_Pad_1_2GB_zardMi3.zip
5星 · 资源好评率100%
是的,repartition是一种转换算子。在Spark编程中,repartition用于重新分区数据集,即改变数据集的分区数。通过repartition操作,可以将数据集重新分配到不同的分区中,从而改变数据的分布情况。repartition操作通常用于在数据集上进行并行操作之前,以确保数据被均匀地分布在不同的执行节点上,从而提高并行处理的效率。
阅读全文