pyspark中保存df数据
时间: 2024-03-23 19:43:02 浏览: 118
在python中使用pyspark读写Hive数据操作
5星 · 资源好评率100%
在 PySpark 中,您可以使用 `DataFrame` 的 `write` 方法将数据保存到磁盘上的文件中。以下是一个保存为 CSV 文件的示例代码:
```python
df.write.format("csv").option("header", "true").option("delimiter", ",").save("/path/to/save/file.csv")
```
其中,`format` 参数指定了要保存的文件格式。在上面的示例中,我们指定了 CSV 格式。`option` 参数可以设置一些选项,例如 `header` 表示是否在文件中保存列名。`delimiter` 表示列之间的分隔符。`save` 方法最后指定了要保存的文件路径。
您也可以将数据保存为其他格式,例如 Parquet、JSON、ORC 等。只需将 `format` 参数设置为相应的格式即可。
阅读全文