用python对多个txt文件合并并去重，代码

以下是一个简单的python程序，可以合并多个txt文件并去重：

# 导入os模块
import os

# 设置要合并的文件夹路径和合并后的文件名
folder_path = r"C:\test_folder"
merged_file_name = "merged.txt"

# 定义一个集合来存储数据
data_set = set()

# 遍历文件夹下的所有txt文件，并将数据添加到集合中
for root, dirs, files in os.walk(folder_path):
    for file in files:
        if file.endswith(".txt"):
            with open(os.path.join(root, file), "r") as f:
                for line in f:
                    data_set.add(line.strip())

# 将集合中的数据写入合并后的文件中
with open(os.path.join(folder_path, merged_file_name), "w", encoding="utf-8") as f:
    for data in data_set:
        f.write(data + "\n")

print("合并完成。")

需要注意的是，以上代码中添加到集合中的数据是按行读取的，如果想按照其他方式去重，可以根据需要进行修改。

相关问题

python怎么将多个csv表格合并并去重

您可以使用Python中的Pandas库来合并和去重多个CSV表格。具体步骤如下：

1. 导入Pandas库：

import pandas as pd

2. 读取CSV文件：

df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')
df3 = pd.read_csv('file3.csv')

3. 合并CSV文件：

merged = pd.concat([df1, df2, df3])

4. 去重：

merged = merged.drop_duplicates()

5. 将合并后的数据写入新的CSV文件：

merged.to_csv('merged.csv', index=False)

这样就可以将多个CSV表格合并并去重，最终得到一个新的CSV文件merged.csv。

python 文件合并去重

在Python中，可以使用以下步骤来合并和去重根目录下的所有txt文件：

1. 遍历根目录下的所有文件，筛选出txt文件。
2. 打开每个txt文件，读取其中的内容。
3. 将每个文件中的内容添加到一个列表中。
4. 使用集合(set)数据结构对列表进行去重操作。
5. 将去重后的内容写入一个新的txt文件中。

以下是一个示例代码，用于实现这个功能：

import os

root_dir = "根目录路径"
output_file = "合并去重后的文件.txt"
file_content_set = set()

# 遍历根目录下的所有文件
for root, dirs, files in os.walk(root_dir):
    for file in files:
        # 筛选出txt文件
        if file.endswith(".txt"):
            file_path = os.path.join(root, file)
            # 打开文件并读取内容
            with open(file_path, "r", encoding="utf-8") as f:
                content = f.read()
                # 将内容添加到集合中
                file_content_set.update(content.splitlines())

# 将去重后的内容写入新的txt文件
with open(output_file, "w", encoding="utf-8") as f:
    f.write("\n".join(file_content_set))

以上代码会遍历根目录下的所有txt文件，并将它们的内容合并并去重，最终将去重后的内容写入一个新的txt文件中。请根据实际情况修改代码中的根目录路径和输出文件名。<span class="em">1</span><span class="em">2</span>
#### 引用[.reference_title]
- *1* [python3.7.2下多个txt文件合并去重](https://download.csdn.net/download/qq_41650481/11007723)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* [使用python对文件夹里的所有表格合并且去重](https://blog.csdn.net/weixin_47970003/article/details/121792711)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]