Pyspark mapPartitionWithIndex算子

`mapPartitionWithIndex`是Pyspark中的一个算子，它可以对RDD中的每个分区进行操作，并且可以访问分区的索引。它的语法如下：

mapPartitionWithIndex(func)

其中，`func`是一个函数，它接受两个参数：分区的索引和分区中的迭代器。`func`函数需要返回一个迭代器，其中包含对分区中每个元素的操作结果。

下面是一个示例，演示如何使用`mapPartitionWithIndex`算子，将RDD中每个分区的元素与分区索引相加：

rdd = sc.parallelize([1, 2, 3, 4, 5, 6], 3)

def add_partition_index(partition_index, iterator):
    return [x + partition_index for x in iterator]

result = rdd.mapPartitionsWithIndex(add_partition_index).collect()
print(result)

输出结果如下：

[1, 2, 3, 4, 5, 6, 3, 4, 5, 6, 7, 8, 5, 6, 7, 8, 9, 10]

在这个示例中，我们使用`mapPartitionWithIndex`算子将RDD分成3个分区，并对每个分区中的元素执行`add_partition_index`函数。`add_partition_index`函数将分区中的每个元素与分区索引相加，并返回一个包含操作结果的迭代器。最后，我们使用`collect`函数将结果收集到本地并打印出来。