spark 把两个DF整合在一起

，你有什么好的方法吗？

可以使用Spark SQL中的join操作来将两个DataFrame整合在一起。具体步骤包括：先定义每个DataFrame的schema，然后使用Spark SQL的语法来执行join。示例代码如下：

from pyspark.sql.functions import *
from pyspark.sql.types import *

# 定义DataFrame的schema
schema1 = StructType([StructField("id", IntegerType(), True), StructField("name", StringType(), True)])
schema2 = StructType([StructField("id", IntegerType(), True), StructField("age", IntegerType(), True)])

# 创建DataFrame
df1 = spark.createDataFrame([(1, "John"), (2, "Amy"), (3, "Tom")], schema1)
df2 = spark.createDataFrame([(1, 30), (2, 28), (4, 35)], schema2)

# 执行join操作
result = df1.join(df2, "id", "outer")

# 显示结果
result.show()

上述代码中，我们先分别定义了两个DataFrame的schema，然后使用createDataFrame方法创建了两个DataFrame。最后，我们使用join方法将它们整合在一起，并使用show方法将结果显示出来。