pyspark join 算子

在 PySpark 中，join() 是用于连接两个 RDD 或数据框的算子。它将两个 RDD 或数据框中的元素根据指定的键连接起来，并返回一个包含连接结果的新 RDD 或数据框。

下面是 join() 算子的基本语法：

joined_rdd = rdd1.join(rdd2, num_partitions=None)

其中，rdd1 和 rdd2 是要连接的两个 RDD，num_partitions 是可选参数，用于指定连接后的 RDD 的分区数。

join() 算子的执行过程如下：

1. 扫描 rdd1 和 rdd2，将它们的键值对按照键值进行分组。

2. 对于每个键值对，将具有相同键值的元素进行连接，并将连接结果添加到新的 RDD 中。

3. 如果指定了 num_partitions 参数，则将新的 RDD 进行重新分区。

下面是一个示例，演示了如何使用 join() 算子连接两个 RDD：

# 创建两个 RDD
rdd1 = sc.parallelize([(1, 'A'), (2, 'B'), (3, 'C')])
rdd2 = sc.parallelize([(1, 'X'), (2, 'Y'), (4, 'Z')])

# 执行 join 操作
joined_rdd = rdd1.join(rdd2)

# 输出结果
print(joined_rdd.collect())

执行结果如下：

[(1, ('A', 'X')), (2, ('B', 'Y'))]

上述代码中，rdd1 和 rdd2 分别包含三个和两个元素，它们的键值分别为 (1, 'A')、(2, 'B') 和 (3, 'C')，以及 (1, 'X') 和 (2, 'Y')。通过 join() 算子将这两个 RDD 进行连接，得到了一个包含两个元素的新 RDD，其中每个元素包含两个部分，即键和连接结果。在这个例子中，只有 rdd1 和 rdd2 中的键值为 1 和 2 的元素进行了连接，因为它们在两个 RDD 中都存在。