在多个文件夹里寻找相同的csv,再合并到一个csv文件
时间: 2023-02-14 19:28:12 浏览: 73
csv-merger:将保存csv文件的许多相同类型的数据合并到一个csv文件中。 所有输入的csv文件应具有相同的列数,否则将出现异常
在这种情况下,你可以使用 Python 的 os 模块来遍历文件夹,再使用 pandas 库来读取 csv 文件并合并它们。
下面是一个示例代码:
```
import os
import pandas as pd
# 存储所有 csv 文件的列表
csv_files = []
# 遍历文件夹
for root, dirs, files in os.walk("/path/to/folder"):
# 在文件列表中寻找 csv 文件
for file in files:
if file.endswith(".csv"):
# 将文件路径加入列表
csv_files.append(os.path.join(root, file))
# 读取所有 csv 文件
df_list = []
for file in csv_files:
df_list.append(pd.read_csv(file))
# 合并所有 csv 文件
df = pd.concat(df_list)
# 将合并后的数据写入新的 csv 文件
df.to_csv("/path/to/new_file.csv", index=False)
```
希望这可以帮到你!
阅读全文