python 中 spark.sql().collect()

在 Python 中使用 PySpark 的时候，我们可以使用 `spark.sql()` 方法来执行 SQL 查询。`spark.sql()` 方法返回一个 `DataFrame` 对象，该对象代表了查询的结果集。如果我们想将结果集以 Python 的数据结构的形式返回，可以使用 `collect()` 方法。`collect()` 方法将会把 `DataFrame` 中的所有数据都读取到 Python 中的一个列表中。这种方法适用于查询结果集较小的情况，因为将所有结果都读取到内存中可能会导致内存不足的问题。

以下是一个示例：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("example").getOrCreate()

# 创建一个 DataFrame
df = spark.read.format("csv").option("header", True).load("data.csv")

# 执行 SQL 查询
result_df = spark.sql("SELECT * FROM table WHERE column = value")

# 将结果集以 Python 的列表的形式返回
result_list = result_df.collect()

在这个例子中，我们首先使用 `SparkSession` 对象创建了一个 Spark 应用程序。然后，我们使用 `spark.read()` 方法从 CSV 文件中读取数据，并创建了一个 `DataFrame` 对象。接下来，我们使用 `spark.sql()` 方法执行了一个 SQL 查询，并将结果保存到一个新的 `DataFrame` 对象中。最后，我们使用 `collect()` 方法将结果集以 Python 的列表的形式返回。