用python脚本将多个excel合并成csv文件并去重‘’

使用Python脚本可以轻松将多个Excel文件合并成一个CSV文件并去重。以下是具体步骤：

1. 导入所需的模块 pandas 和 os：

import pandas as pd
import os

2. 定义要合并的Excel文件所在的文件夹路径：

folder_path = "path/to/folder"

3. 使用 os 模块读取文件夹中的所有 Excel 文件，并将它们合并为一个 DataFrame：

all_data = pd.DataFrame()
for file in os.listdir(folder_path):
    if file.endswith(".xlsx"):
        df = pd.read_excel(os.path.join(folder_path, file))
        all_data = pd.concat([all_data, df])

4. 现在，我们可以将合并后的 DataFrame 写入一个 CSV 文件。同时，我们可以使用 drop_duplicates 方法去重：

all_data.drop_duplicates().to_csv("merged_file.csv", index=False)

这个脚本将读取指定文件夹中的所有 Excel 文件，将它们合并到一个 DataFrame 中，并将合并后的数据按照指定顺序写入一个 CSV 文件。而由于使用了 drop_duplicates 方法，输出的 CSV 文件中将不包含任何重复的数据。