python 文件合并去重

在Python中，可以使用以下步骤来合并和去重根目录下的所有txt文件：

1. 遍历根目录下的所有文件，筛选出txt文件。
2. 打开每个txt文件，读取其中的内容。
3. 将每个文件中的内容添加到一个列表中。
4. 使用集合(set)数据结构对列表进行去重操作。
5. 将去重后的内容写入一个新的txt文件中。

以下是一个示例代码，用于实现这个功能：

import os

root_dir = "根目录路径"
output_file = "合并去重后的文件.txt"
file_content_set = set()

# 遍历根目录下的所有文件
for root, dirs, files in os.walk(root_dir):
    for file in files:
        # 筛选出txt文件
        if file.endswith(".txt"):
            file_path = os.path.join(root, file)
            # 打开文件并读取内容
            with open(file_path, "r", encoding="utf-8") as f:
                content = f.read()
                # 将内容添加到集合中
                file_content_set.update(content.splitlines())

# 将去重后的内容写入新的txt文件
with open(output_file, "w", encoding="utf-8") as f:
    f.write("\n".join(file_content_set))

以上代码会遍历根目录下的所有txt文件，并将它们的内容合并并去重，最终将去重后的内容写入一个新的txt文件中。请根据实际情况修改代码中的根目录路径和输出文件名。<span class="em">1</span><span class="em">2</span>
#### 引用[.reference_title]
- *1* [python3.7.2下多个txt文件合并去重](https://download.csdn.net/download/qq_41650481/11007723)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* [使用python对文件夹里的所有表格合并且去重](https://blog.csdn.net/weixin_47970003/article/details/121792711)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]