pyspark dataframe怎么写入一个csv
时间: 2023-05-23 10:04:14 浏览: 397
文件?
A:
可以使用`write`方法将Pyspark DataFrame写入CSV文件。以下是一个示例代码:
```python
from pyspark.sql import SparkSession
# 创建SparkSession对象
spark = SparkSession.builder.appName("Write CSV").getOrCreate()
# 创建DataFrame对象
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])
# 写入CSV文件
df.write.csv("path/to/output/folder")
```
通过执行上面的代码,会将DataFrame对象`df`写入到`path/to/output/folder`目录下,生成多个CSV文件,每个文件大小约为128MB。如果要生成单个CSV文件,可以使用`coalesce`方法将数据合并为单个分区,再调用`write`方法将其写入CSV文件,示例代码如下:
```python
# 将数据写入单个CSV文件
df.coalesce(1).write.format("csv").option("header",True).save("path/to/output/file.csv")
```
上述代码中,通过指定`csv`文件格式,设置`header`选项为`True`,再将数据合并为单个分区,最后将DataFrame写入CSV文件`path/to/output/file.csv`。
阅读全文