spark写入csv文件

在Spark中将数据写入CSV文件可以使用以下代码：

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

// 创建SparkSession
val spark: SparkSession = SparkSession.builder()
  .appName("Write CSV")
  .master("local[*]")
  .getOrCreate()

// 读取数据
val data: DataFrame = spark.read.format("csv").option("header", "true").load("path/to/input/file.csv")

// 写入CSV文件
data.write.mode(SaveMode.Overwrite).option("header", "true").csv("path/to/output/file.csv")

其中，`data`是一个`DataFrame`对象，表示需要写入CSV文件的数据。`SaveMode.Overwrite`表示如果文件已经存在，则覆盖原文件。`option("header", "true")`表示写入CSV文件时包含列名。最后，使用`csv()`方法将数据写入CSV文件。

相关问题

spark dataframe 写入csv

你可以使用Spark DataFrame的`write`方法将数据写入CSV文件，代码示例如下：

df.write.csv("path/to/csv/file")

其中，`df`是你要写入的DataFrame，`"path/to/csv/file"`是你要写入CSV文件的路径。

如果你想指定CSV文件的分隔符，可以通过`option`参数传入，例如：

df.write.option("delimiter", "|").csv("path/to/csv/file")

这将使用`|`作为CSV文件的分隔符。

pyspark写入csv文件

可以使用pyspark的DataFrame API将数据写入csv文件。具体步骤如下：

1. 创建pyspark DataFrame。
2. 使用DataFrame的write方法，并使用format("csv")指定输出格式为csv。
3. 使用save方法指定输出文件路径。

示例代码如下：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.appName("WriteCSV").getOrCreate()

# 创建pyspark DataFrame
df = spark.createDataFrame([(1, "John Doe", 30), (2, "Jane Doe", 35)], ["id", "name", "age"])

# 将DataFrame写入csv文件
df.write.format("csv").save("data.csv")

# 关闭SparkSession
spark.stop()