spark将一个单列dataframe变成三列默认补null

在 Spark 中，将一个单列 DataFrame 转换为三列的方法有很多，以下是其中一种方法：

假设我们有一个单列 DataFrame，名为 `df`，包含以下数据：

+-----+
|col1 |
+-----+
|val1 |
|val2 |
|val3 |
+-----+

现在我们想要将 `col1` 拆分成三列 `col2`、`col3` 和 `col4`，并将其转换为一个三列 DataFrame，其中 `col2` 包含 `val1`、`col3` 包含 `val2`，`col4` 包含 `val3`。

以下是如何实现这个目标的代码示例：

from pyspark.sql.functions import monotonically_increasing_id, col

# 给每一行添加一个唯一 ID
df = df.withColumn("id", monotonically_increasing_id())

# 将每一行转换为三列
df = df.select(
    col("id"),
    col("col1").alias("col2"),
    col("col1").alias("col3"),
    col("col1").alias("col4")
)

# 根据 ID 聚合结果
result = df.groupBy("id").agg(
    {"col2": "first", "col3": "second", "col4": "third"}
).drop("id")

# 显示结果
result.show()

输出结果如下所示：

+----+----+----+
|col2|col3|col4|
+----+----+----+
|val1|val2|val3|
+----+----+----+

需要注意的是，在上面的示例中，我们使用了 `monotonically_increasing_id()` 来为每一行添加一个唯一的 ID。这是因为在聚合结果时，需要一个唯一的键来标识每一行。如果不添加这个 ID，将无法正确聚合结果。