pyspark dataframe union all

以下是使用pyspark dataframe进行union all操作的示例：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.appName("UnionAllExample").getOrCreate()

# 创建第一个DataFrame
data1 = [("Alice", 26), ("Jessica", 23), ("Shirely", 33)]
df1 = spark.createDataFrame(data1, ["Name", "Age"])

# 创建第二个DataFrame
data2 = [("Bob", 30), ("John", 35), ("Mike", 28)]
df2 = spark.createDataFrame(data2, ["Name", "Age"])

# 使用union all操作合并两个DataFrame
union_df = df1.unionAll(df2)

# 显示合并后的DataFrame
union_df.show()

这段代码首先创建了一个SparkSession对象，然后分别创建了两个DataFrame对象df1和df2。接下来，使用unionAll()方法将df1和df2合并成一个新的DataFrame对象union_df。最后，使用show()方法显示合并后的DataFrame。