spark写入csv文件
时间: 2023-08-05 09:47:11 浏览: 78
写入csv文件.cs
在Spark中将数据写入CSV文件可以使用以下代码:
```
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}
// 创建SparkSession
val spark: SparkSession = SparkSession.builder()
.appName("Write CSV")
.master("local[*]")
.getOrCreate()
// 读取数据
val data: DataFrame = spark.read.format("csv").option("header", "true").load("path/to/input/file.csv")
// 写入CSV文件
data.write.mode(SaveMode.Overwrite).option("header", "true").csv("path/to/output/file.csv")
```
其中,`data`是一个`DataFrame`对象,表示需要写入CSV文件的数据。`SaveMode.Overwrite`表示如果文件已经存在,则覆盖原文件。`option("header", "true")`表示写入CSV文件时包含列名。最后,使用`csv()`方法将数据写入CSV文件。
阅读全文