pyspark多表连接

在 PySpark 中，可以使用 `join()` 方法将多个表连接起来。`join()` 方法需要指定连接的条件和连接方式。

下面是一个示例代码：

from pyspark.sql.functions import col

df_a = spark.table("A")
df_b = spark.table("B")
df_c = spark.table("C")

# 将三个表连接起来
df_joined = df_a.join(df_b, df_a.id == df_b.id, "inner") \
               .join(df_c, df_b.id == df_c.id, "inner") \
               .select(df_a.id, df_a.name, df_b.salary, df_c.department)

# 对连接结果进行筛选
df_filtered = df_joined.filter(col("salary") > 5000)

# 显示结果
df_filtered.show()

在这个示例中，我们将表 A、B、C 连接起来，连接条件是它们的 id 字段相等，连接方式是 inner join（内连接）。然后，我们从连接结果中选取了 id、name、salary、department 四个字段，通过 `filter()` 方法对 salary 大于 5000 的数据进行筛选，最后通过 `show()` 方法显示结果。

需要注意的是，连接多个表可能会导致性能问题，因此需要针对具体的业务场景进行优化。可以考虑使用分区、缓存、调整数据倾斜等技术手段来提高性能。