pandas 批量合并csv文件夹

1. 导入必要的库

import pandas as pd
import os

2. 定义文件夹路径和文件名列表

folder_path = "path/to/folder"
file_list = os.listdir(folder_path)

3. 循环遍历文件名列表，读取csv文件并合并

df = pd.DataFrame()
for file_name in file_list:
    if file_name.endswith('.csv'):
        file_path = os.path.join(folder_path, file_name)
        temp_df = pd.read_csv(file_path)
        df = pd.concat([df, temp_df])

4. 保存合并后的数据到一个新的csv文件中

save_path = "path/to/save/merged/file.csv"
df.to_csv(save_path, index=False)

相关问题

python批量合并csv文件

下面是一种可能的方法，可以使用pandas库来读取和合并csv文件：

import os
import glob
import pandas as pd

# 设置要合并的csv文件夹路径
input_folder = "/path/to/csv/folder"

# 获取csv文件夹中所有csv文件的文件名
csv_files = glob.glob(os.path.join(input_folder, "*.csv"))

# 读取所有csv文件并拼接成一个DataFrame
df = pd.concat(map(pd.read_csv, csv_files))

# 将合并后的DataFrame保存为一个新的csv文件
output_file = "/path/to/output/file.csv"
df.to_csv(output_file, index=False)

上述代码中，`glob.glob`函数用于获取csv文件夹中所有csv文件的文件名，`pd.read_csv`函数用于读取单个csv文件并返回一个DataFrame对象，`pd.concat`函数用于将多个DataFrame对象拼接成一个。最后，将合并后的DataFrame保存为一个新的csv文件。

注意：上述代码假设所有csv文件具有相同的列名和同样的列顺序。如果不是这种情况，需要进行一些额外的处理来保证合并后的结果正确。

批量合并文件夹下所有csv文件

批量合并文件夹下的所有CSV文件通常是指将这些单独的CSV数据文件汇总成一个大文件，以便于管理和分析。这个过程可以使用编程语言如Python中的pandas库来实现，因为pandas非常适合处理表格数据。以下是一个简单的步骤：

1. 导入必要的库：

import os
import pandas as pd

2. 确定文件夹路径和目标文件名：

folder_path = 'your_folder_path'  # 替换为你要合并的文件夹路径
output_file_name = 'merged_data.csv'

3. 使用递归函数遍历文件夹并读取CSV文件：

def merge_csv_files(input_folder):
    merged_df = pd.DataFrame()  # 创建空的数据框用于存储结果

    for filename in os.listdir(input_folder):
        if filename.endswith('.csv'):  # 检查是否是CSV文件
            file_path = os.path.join(input_folder, filename)
            temp_df = pd.read_csv(file_path)
            merged_df = merged_df.append(temp_df)  # 将每个数据帧添加到总数据帧

    return merged_df

# 调用函数并保存合并后的数据
merged_df = merge_csv_files(folder_path)
merged_df.to_csv(output_file_name, index=False)