多个csv文件合并成一个,写个python脚本

好的，以下是一个简单的 Python 脚本，可以将多个 CSV 文件合并成一个：

import os
import glob
import pandas as pd

# 获取所有 CSV 文件
files = glob.glob("*.csv")

# 读取所有 CSV 文件
df_list = []
for filename in files:
    df = pd.read_csv(filename)
    df_list.append(df)

# 合并所有数据
merged_df = pd.concat(df_list)

# 保存合并后的数据
merged_df.to_csv("merged.csv", index=False)

您可以将此脚本放在 CSV 文件所在的文件夹中，然后运行它，它将读取所有 CSV 文件并将它们合并成一个名为 "merged.csv" 的文件。

相关问题

用python脚本将多个excel合并成csv文件并去重‘’

使用Python脚本可以轻松将多个Excel文件合并成一个CSV文件并去重。以下是具体步骤：

1. 导入所需的模块 pandas 和 os：

import pandas as pd
import os

2. 定义要合并的Excel文件所在的文件夹路径：

folder_path = "path/to/folder"

3. 使用 os 模块读取文件夹中的所有 Excel 文件，并将它们合并为一个 DataFrame：

all_data = pd.DataFrame()
for file in os.listdir(folder_path):
    if file.endswith(".xlsx"):
        df = pd.read_excel(os.path.join(folder_path, file))
        all_data = pd.concat([all_data, df])

4. 现在，我们可以将合并后的 DataFrame 写入一个 CSV 文件。同时，我们可以使用 drop_duplicates 方法去重：

all_data.drop_duplicates().to_csv("merged_file.csv", index=False)

这个脚本将读取指定文件夹中的所有 Excel 文件，将它们合并到一个 DataFrame 中，并将合并后的数据按照指定顺序写入一个 CSV 文件。而由于使用了 drop_duplicates 方法，输出的 CSV 文件中将不包含任何重复的数据。

Python抓取路径中多级文件夹内的txt文件合并成一个excel

以下是一个Python脚本示例，它可以抓取指定路径中多级文件夹内的所有txt文件并将它们合并为一个excel文件。

import os
import glob
import pandas as pd

# 指定txt文件所在的路径
path = r'C:\your\path\to\directory'

# 获取所有txt文件的路径
txt_files = glob.glob(os.path.join(path, '**/*.txt'), recursive=True)

# 如果txt文件不存在，则退出程序
if not txt_files:
    print('No txt files found in the specified directory')
    exit()

# 通过循环读取每个txt文件并将它们合并到一个DataFrame中
data = pd.DataFrame()
for file in txt_files:
    # 读取txt文件数据并转换为DataFrame
    df = pd.read_csv(file, delimiter='\t')
    # 添加文件名列
    filename = os.path.splitext(os.path.basename(file))[0]
    df['Filename'] = filename
    # 将新的DataFrame合并到主DataFrame中
    data = pd.concat([data, df])

# 将合并后的数据保存为excel文件
data.to_excel(os.path.join(path, 'merged_data.xlsx'), index=False)

此代码使用`glob`模块来查找指定路径内的所有txt文件。然后，它循环遍历这些文件并使用`pd.read_csv()`函数读取它们的内容。一个新的DataFrame被创建，并各个txt文件中的数据被添加到其中。最后，数据被保存为一个新的excel文件。请注意，代码中的分隔符为Tab。根据实际情况，您可能需要将其更改为适当的分隔符。