pyspark的join函数不同列名相匹配如何在on参数中表达

在PySpark中，如果要在join函数的on参数中表达不同列名相匹配的操作，可以使用一个元组来指定每个DataFrame中要匹配的列。例如，假设我们有两个DataFrame，一个包含"employee_id"和"name"两列，另一个包含"emp_id"和"salary"两列，如果我们想要在它们之间进行join操作，我们可以在on参数中使用一个元组来指定要匹配的列名，如下所示：

from pyspark.sql.functions import col

df1 = spark.createDataFrame([(1, "Alice"), (2, "Bob")], ["employee_id", "name"])
df2 = spark.createDataFrame([(1, 10000), (2, 20000)], ["emp_id", "salary"])

joined_df = df1.join(df2, (col("employee_id") == col("emp_id")), "inner")

在这个例子中，我们使用了一个元组来指定要匹配的列名，即(col("employee_id") == col("emp_id"))。这样，我们就可以在不同列名的DataFrame之间执行join操作了。