pyspark df保存为csv
时间: 2023-09-01 19:08:47 浏览: 75
使用pyspark将csv文件转为parquet文件
你可以使用 `pyspark` 的 `DataFrame` 对象的 `write` 方法将其保存为 `CSV` 文件。
下面是一个保存为 `CSV` 的示例代码:
```python
df.write.format("csv").option("header", "true").mode("overwrite").save("path/to/save/csv")
```
其中,`df` 是你要保存的 `DataFrame` 对象,`path/to/save/csv` 是你要保存到的路径。如果你不希望在保存的 `CSV` 文件中包含列名的话,可以将 `header` 参数设置为 `false`。
此外,你还可以设置其他参数,例如字段分隔符、行分隔符等。具体可参考 `pyspark` 的文档。
阅读全文