Spark读取和保存
时间: 2023-12-12 17:04:08 浏览: 34
Spark可以读取和保存多种数据格式,例如CSV、JSON、Parquet、Avro等。下面是一些常见的读取和保存方式:
1. 读取CSV文件:
```
val df = spark.read.format("csv")
.option("header", "true")
.option("inferSchema", "true")
.load("path/to/file.csv")
```
2. 读取JSON文件:
```
val df = spark.read.format("json")
.load("path/to/file.json")
```
3. 读取Parquet文件:
```
val df = spark.read.format("parquet")
.load("path/to/file.parquet")
```
4. 保存数据为CSV文件:
```
df.write.format("csv")
.option("header", "true")
.save("path/to/output.csv")
```
5. 保存数据为Parquet文件:
```
df.write.format("parquet")
.save("path/to/output.parquet")
```
注意:读取和保存数据时需要指定正确的文件路径和数据格式,同时还可以设置其他选项,如是否包含表头、是否自动推断数据类型等。