pyspark dataframe合并行
时间: 2023-10-06 19:05:46 浏览: 146
SparkSQ操作DataFrame,合并DataFrame
可以使用union函数将两个dataframe合并成一个。例如:
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.appName("Python Spark SQL basic example").getOrCreate()
# 创建第一个dataframe
df1 = spark.createDataFrame([(1, "foo"), (2, "bar")], ("key", "value"))
# 创建第二个dataframe
df2 = spark.createDataFrame([(3, "baz")], ("key", "value"))
# 合并两个dataframe
df = df1.union(df2)
# 显示合并后的dataframe
df.show()
阅读全文