你写一个sparksql读取csv文件案例
时间: 2024-05-08 15:17:33 浏览: 125
oracle使用sql脚本生成csv文件案例学习
好的,这个问题很简单。你可以使用Spark SQL的CSV数据源来读取CSV文件。以下是示例代码:
```
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.appName("Read CSV").getOrCreate()
# 读取CSV文件
df = spark.read.format("csv") \
.option("header", "true") \
.option("inferSchema", "true") \
.load("path/to/csv/file.csv")
# 显示数据
df.show()
# 停止SparkSession
spark.stop()
```
在代码中,你需要将路径替换为你的CSV文件的路径。此外,你还可以使用其他选项来自定义CSV数据源的行为。
阅读全文