为什么pyspark dataframe写入csv文件 是两个
时间: 2023-05-25 07:02:24 浏览: 93
pyspark 读取csv文件创建DataFrame的两种方法
文件?
A:可能是因为DataFrame在写入CSV文件时会检查数据分区并将数据拆分成不同的文件。这是为了提高写入效率和减少内存占用。如果您想将所有数据写入一个文件中,可以在写入时指定单个文件名称,而不是文件夹名称。例如:
```
df.write.csv("path/to/file.csv", mode="overwrite", header=True)
```
这将仅创建一个名为file.csv的文件,而不是将数据分成多个文件。
阅读全文