spark dataframe 多条件join

在 Spark 中，DataFrame 的多条件 join 可以使用 `join` 函数实现。该函数的语法如下：

df1.join(df2, condition, joinType)

其中，`df1` 和 `df2` 分别是要连接的两个 DataFrame；`condition` 是连接条件，可以是一个字符串类型的列名或一个表达式，也可以是多个条件组成的数组；`joinType` 是连接类型，可以是 `inner`、`outer`、`left_outer`、`right_outer` 或 `leftsemi`。

以下是一个示例，假设有两个 DataFrame：`orders` 和 `customers`，需要使用 `customer_id` 和 `order_date` 两个条件进行连接：

from pyspark.sql.functions import col

orders = spark.read.format("csv").load("orders.csv", header=True)
customers = spark.read.format("csv").load("customers.csv", header=True)

joined = orders.join(customers, [col("orders.customer_id") == col("customers.customer_id"), col("orders.order_date") == col("customers.customer_since")], "inner")

在上面的代码中，使用了 `join` 函数，并将两个连接条件作为一个数组传递给了函数。其中，`col` 函数用于访问列名，`inner` 表示使用内连接方式进行连接。