leftOuterJoin Spark中的用法

在Spark中，`leftOuterJoin`是一种常用的关联操作，用于将两个RDD或DataFrame按照指定的键进行左外连接，返回一个新的RDD或DataFrame。

具体用法如下：

# 对于RDD，使用leftOuterJoin函数
rdd1 = sc.parallelize([(1, 'a'), (2, 'b'), (3, 'c')])
rdd2 = sc.parallelize([(2, 'd'), (3, 'e'), (4, 'f')])
result_rdd = rdd1.leftOuterJoin(rdd2)
result_rdd.collect()

# 对于DataFrame，使用join函数，并指定join方式为'left_outer'
df1 = spark.createDataFrame([(1, 'a'), (2, 'b'), (3, 'c')], ['key', 'value1'])
df2 = spark.createDataFrame([(2, 'd'), (3, 'e'), (4, 'f')], ['key', 'value2'])
result_df = df1.join(df2, on='key', how='left_outer')
result_df.show()

在以上示例中，`rdd1`和`rdd2`分别表示两个RDD，每个元素都是一个包含两个值的元组。`result_rdd`是`rdd1`和`rdd2`的左外连接结果。

同理，`df1`和`df2`是两个DataFrame，`result_df`是它们的左外连接结果。在DataFrame中，需要使用`join`函数，并指定`how`参数为`'left_outer'`。

左外连接会保留左边RDD/DataFrame中所有的键值对，如果右边RDD/DataFrame中没有对应的键，则右边的值为空。