pyspark 写csv

可以使用 PySpark 的 DataFrame API 将数据写入 CSV 文件。以下是一个示例代码：

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder.appName("Write CSV").getOrCreate()

# 读取数据到 DataFrame
df = spark.read.format("csv").option("header", "true").load("path/to/input.csv")

# 将 DataFrame 写入 CSV 文件
df.write.format("csv").option("header", "true").mode("overwrite").save("path/to/output.csv")

在示例中，我们首先使用 `SparkSession` 创建了一个 Spark 应用程序。然后，我们使用 `read.format("csv")` 方法将 CSV 文件读入 DataFrame，将 `header` 参数设置为 `true` 表示第一行是列名。接下来，我们使用 `write.format("csv")` 方法将 DataFrame 写入 CSV 文件，同样将 `header` 参数设置为 `true` 表示写入列名。

最后，我们使用 `mode("overwrite")` 方法覆盖已存在的输出文件，如果不希望覆盖文件，可以将其设置为 `append` 或 `ignore`。

需要注意的是，PySpark 写入的 CSV 文件可能会出现一些奇怪的问题，例如某些列值被包含在双引号中，或者某些行末尾出现了额外的逗号。这些问题通常是由于 CSV 文件本身的格式问题引起的，建议在写入 CSV 文件之前先检查数据的格式。