pyspark的stack函数

pyspark中的stack函数用于将多列的值堆叠在一起，返回一个新的列。它的语法如下：

`stack(n: int, *cols: Column) -> Column`

其中，`n`表示每个堆叠值的列数，`*cols`表示要堆叠的列。堆叠后的结果将按照输入列的顺序排列。

以下是一个示例：

from pyspark.sql import SparkSession
from pyspark.sql.functions import stack

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例数据
data = [("Alice", 1, 2, 3),
        ("Bob", 4, 5, 6),
        ("Charlie", 7, 8, 9)]
df = spark.createDataFrame(data, ["Name", "Value1", "Value2", "Value3"])

# 使用stack函数堆叠列
df.withColumn("StackedValues", stack(3, "Value1", "Value2", "Value3")).show()

输出结果如下：

+-------+------+------+------+------+-------------+
|   Name|Value1|Value2|Value3|  col0|col1         |
+-------+------+------+------+------+-------------+
|  Alice|     1|     2|     3|Value1|            1|
|    Bob|     4|     5|     6|Value2|            5|
|Charlie|     7|     8|     9|Value3|            9|
+-------+------+------+------+------+-------------+

在上面的示例中，我们使用stack函数将"Value1"、"Value2"和"Value3"列堆叠在一起，得到了新的"StackedValues"列。堆叠后的结果按照输入列的顺序排列，生成了两列："col0"和"col1"。"col0"列包含堆叠值的列名，"col1"列包含对应的值。

希望这个例子能帮助到你！如果还有其他问题，请随时提问。