在apache spark中将dataframe的列值提取为list

在Apache Spark中，你可以使用`collect_list`函数将一个DataFrame的列值提取为一个列表。以下是一个示例代码：

from pyspark.sql.functions import collect_list

# 假设你有一个名为df的DataFrame，并且想要将其列"my_column"的值提取为一个列表
list_col = df.groupBy().agg(collect_list("my_column")).collect()[0][0]

在这个例子中，我们首先使用`groupBy()`函数将DataFrame的所有行分组为一组。接着，我们使用`agg()`函数将`collect_list("my_column")`应用于每个组。这将返回一个包含所有分组的列表的DataFrame。最后，我们使用`collect()`方法将结果收集到本地驱动程序中，并使用`[0][0]`获取第一个元素的第一个值，也就是包含所有值的列表。

请注意，`collect()`方法将所有结果收集到驱动程序中，因此只有在结果集较小的情况下才应使用此方法。如果结果集很大，你可能需要使用其他方法来处理它们，例如将它们存储到HDFS或Amazon S3中。