用spark SQL 写一个代码案例
时间: 2024-01-28 21:05:15 浏览: 103
spark 代码示例
4星 · 用户满意度95%
当然可以!以下是一个使用Spark SQL的代码案例:
```python
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder \
.appName("Spark SQL Example") \
.getOrCreate()
# 读取数据
df = spark.read.csv("data.csv", header=True, inferSchema=True)
# 注册DataFrame为一张表
df.createOrReplaceTempView("my_table")
# 执行SQL查询
result = spark.sql("SELECT * FROM my_table WHERE age >= 18")
# 显示查询结果
result.show()
```
在这个例子中,我们使用Spark SQL来读取一个包含数据的CSV文件,并将其存储为一个DataFrame。然后,我们将该DataFrame注册为名为"my_table"的临时表,并执行了一个简单的SQL查询来选择年龄大于等于18的所有行。最后,我们通过调用`show()`方法来显示查询结果。
请注意,你需要将`data.csv`替换为你自己的数据文件路径,并根据你的需求修改SQL查询和其他操作。
阅读全文