python转化目录下所有parquet文件为csv
时间: 2023-06-02 17:03:49 浏览: 175
python读取文件转换为csv
5星 · 资源好评率100%
好的,这是一个技术问题,我可以回答。您可以使用pandas库来将目录下所有parquet文件转换为csv文件,具体代码如下:
```python
import pandas as pd
import glob
path = 'path/to/dir/*.parquet'
all_files = glob.glob(path)
for filename in all_files:
df = pd.read_parquet(filename)
csv_filename = filename.replace('.parquet', '.csv')
df.to_csv(csv_filename, index=False)
```
这段代码中,首先使用glob库获取目录下所有parquet文件的路径,然后通过循环读入每一个parquet文件,并使用pandas库将其转换为DataFrame格式。接着将csv文件的名称替换为原本parquet文件的名称,并使用to_csv方法将DataFrame格式的数据保存为csv文件。最后,程序会依次将所有parquet文件转换为csv文件。
阅读全文