pandas多个csv文件合并

在Python中使用pandas库合并多个CSV文件非常直观，以下是一个基本的例子：

import pandas as pd

# 定义包含所有CSV文件路径的列表
files = ['file1.csv', 'file2.csv', 'file3.csv'] 

# 创建一个空的DataFrame，用于存储合并后的结果
all_data = pd.DataFrame()

# 循环遍历文件列表，逐个读取并追加至all_data
for file in files:
    data = pd.read_csv(file)  # 读取每个csv文件
    all_data = all_data.append(data, ignore_index=True)  # 追加数据

# 保存合并后的数据到新的csv文件
all_data.to_csv('merged_data.csv', index=False)

这个过程会把所有的数据都加载到内存中，如果文件特别大，可能会占用大量内存。对于大型数据集，可以考虑使用`read_csv`的`chunksize`参数，每次读取一部分数据进行处理。