对dataframe执行sql查询

要在DataFrame上执行SQL查询，您需要使用SparkSession对象来执行查询。首先，您需要将DataFrame注册为一个临时表，然后在该表上运行SQL查询。

以下是一个示例代码：

from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder.appName("DataFrameSQLQuery").getOrCreate()

# 读取CSV文件并创建DataFrame
df = spark.read.csv("path/to/file.csv", header=True, inferSchema=True)

# 将DataFrame注册为一个临时表
df.createOrReplaceTempView("my_table")

# 执行SQL查询并将结果保存为DataFrame
query = "SELECT column1, column2 FROM my_table WHERE column3 > 10"
result_df = spark.sql(query)

# 显示结果
result_df.show()

在示例中，我们从CSV文件中读取数据并将其转换为DataFrame。然后，我们使用`createOrReplaceTempView`方法将DataFrame注册为一个名为`my_table`的临时表。接下来，我们使用`spark.sql`方法执行SQL查询并将结果保存为DataFrame。最后，我们使用`show`方法显示结果。

请注意，Spark SQL支持标准的SQL语法，因此您可以在SQL查询中使用各种SQL操作符和函数。