sparksql 一列横向展开列

SparkSQL提供了一种非常方便的方式来横向展开一列，即使用explode函数。explode函数可以将包含数组或Map类型数据的列展开为多行，每行对应着原始数据中的一个元素。

具体使用方法如下：

1. 首先，需要导入spark.sql.functions中的explode函数，如下所示：

from pyspark.sql.functions import explode

2. 然后，通过使用explode函数，可以将要展开的列传递给它，从而生成一个新的DataFrame，其中包含展开后的数据。例如，假设我们有一个名为df的DataFrame，其中包含一个名为col1的包含数组类型数据的列，我们可以使用以下代码来展开该列：

new_df = df.select(explode(df.col1).alias("col1_expanded"))

这将会生成一个新的DataFrame，其中包含一个名为col1_expanded的列，其中保存了原始数据列col1中的每个元素。

3. 如果我们希望将多个列展开为多行，则可以将多个explode函数串联使用。例如，假设我们有一个DataFrame named_df，其中包含两个包含数组类型数据的列col1和col2，我们可以使用以下代码来展开这两列：

new_df = named_df.select(explode(named_df.col1).alias("col1_expanded"), explode(named_df.col2).alias("col2_expanded"))

这将会生成一个新的DataFrame，其中包含两列col1_expanded和col2_expanded，分别保存了原始数据列col1和col2中的每个元素。

总结来说，使用explode函数可以很方便地进行列的横向展开，将包含数组或Map类型数据的列展开为多行，每行对应原始数据中的一个元素。