python 如何批量处理csv文件
时间: 2024-03-01 14:21:55 浏览: 131
要批量处理 CSV 文件,您可以使用 Python 的 pandas 库。下面是一个示例代码,它可以在指定目录下批量读取所有 CSV 文件,并将它们合并为一个数据框:
```python
import os
import pandas as pd
# 设置文件夹路径
folder_path = 'C:/csv_files/'
# 获取所有 CSV 文件路径
file_paths = [os.path.join(folder_path, f) for f in os.listdir(folder_path) if f.endswith('.csv')]
# 创建一个空的数据框
df = pd.DataFrame()
# 逐个读取 CSV 文件并合并到数据框中
for file_path in file_paths:
temp_df = pd.read_csv(file_path)
df = pd.concat([df, temp_df], ignore_index=True)
# 输出合并后的数据框
print(df.head())
```
在上面的代码中,我们首先指定了 CSV 文件所在的文件夹路径 `folder_path`。然后,我们使用 `os.listdir()` 函数获取文件夹中所有以 `.csv` 结尾的文件,并使用列表推导式将它们的完整路径存储在 `file_paths` 列表中。
接下来,我们创建一个空的数据框 `df`,然后使用 `pd.read_csv()` 函数逐个读取每个 CSV 文件,并使用 `pd.concat()` 函数将它们合并到数据框中。注意,在合并数据框时,我们使用了 `ignore_index=True` 参数,以确保所有行都具有唯一的索引。
最后,我们输出合并后的数据框 `df`。您可以根据需要修改代码,以满足您的特定需求。
阅读全文