python转化目录下所有parquet文件为一个csv
时间: 2023-06-02 22:04:34 浏览: 133
可以使用pandas库中的read_parquet函数来读取所有的parquet文件,然后使用to_csv函数将其转化为一个csv文件。
参考代码如下:
```python
import pandas as pd
import os
folder_path = 'path/to/parquet/folder'
output_file = 'path/to/output.csv'
# 读取所有的parquet文件
dfs = []
for file in os.listdir(folder_path):
if file.endswith('.parquet'):
df = pd.read_parquet(os.path.join(folder_path, file))
dfs.append(df)
# 将所有的DataFrame合并为一个DataFrame
merged_df = pd.concat(dfs)
# 将合并后的DataFrame保存为csv文件
merged_df.to_csv(output_file, index=False)
```
其中,`folder_path`为要转化的parquet文件所在的文件夹路径,`output_file`为要保存的csv文件路径。调用`pd.read_parquet()`函数可以读取单个parquet文件为一个DataFrame,使用`pd.concat()`函数可以将多个DataFrame合并为一个DataFrame,最后调用`to_csv()`函数可以将DataFrame保存为csv文件。
阅读全文