pyspark三个表合并

假设有三个表：A、B、C。它们都有相同的字段名，我们需要将它们合并成一个表。在 PySpark 中，可以使用 `union()` 或 `unionAll()` 方法将表合并。

`union()` 方法会去除重复的行，而 `unionAll()` 方法不会去除重复的行。

下面是一个示例代码：

from pyspark.sql.functions import col

df_a = spark.table("A")
df_b = spark.table("B")
df_c = spark.table("C")

# 将三个表合并，并去除重复的行
df_merged = df_a.union(df_b).union(df_c).distinct()

# 将三个表合并，不去除重复的行
df_merged_all = df_a.unionAll(df_b).unionAll(df_c)

在这个示例中，我们使用了 `distinct()` 方法去除了重复的行，并将结果保存在一个新的 DataFrame 中。如果不需要去除重复的行，可以使用 `unionAll()` 方法。