spark groupbykey
时间: 2023-11-12 22:49:44 浏览: 76
spark-assembly
5星 · 资源好评率100%
spark的GroupByKey算子主要作用是按照Key分组,将相同Key的数据分到同一个组中,并列举出每个Key对应的所有Value。与ReduceByKey不同的是,GroupByKey并不做聚合操作,只是将数据按照Key进行分类。
在Map端,GroupByKey无法做Combine操作,因为需要列举Key对应的所有数据。因此,相较于ReduceByKey,GroupByKey的性能要差一些。
阅读全文