python按行写入txt大文件并去重

在Python中，如果你想要按行写入一个大文本文件，并且去除重复内容，你可以使用`set`数据结构来自动去重，因为集合不会包含重复元素。下面是一个简单的示例：

# 定义一个空的集合来存储唯一行
unique_lines = set()

# 打开或创建目标文件（如果不存在则创建）
with open('output.txt', 'a') as f:
    # 逐行读取源文件（假设源文件名为input.txt），去重后再写入新文件
    with open('input.txt', 'r') as input_file:
        for line in input_file:
            # 如果当前行不在集合中，将其添加到集合和文件中
            if line.strip() not in unique_lines:
                unique_lines.add(line.strip())
                f.write(line)

# 确保关闭所有文件句柄
f.close()

这个代码会将`input.txt`文件的所有非重复行追加到`output.txt`文件中。注意这里我们使用了`strip()`函数来移除每行开头和结尾的空白字符。

相关问题

用python对多个txt文件合并并去重，代码

以下是一个简单的python程序，可以合并多个txt文件并去重：

# 导入os模块
import os

# 设置要合并的文件夹路径和合并后的文件名
folder_path = r"C:\test_folder"
merged_file_name = "merged.txt"

# 定义一个集合来存储数据
data_set = set()

# 遍历文件夹下的所有txt文件，并将数据添加到集合中
for root, dirs, files in os.walk(folder_path):
    for file in files:
        if file.endswith(".txt"):
            with open(os.path.join(root, file), "r") as f:
                for line in f:
                    data_set.add(line.strip())

# 将集合中的数据写入合并后的文件中
with open(os.path.join(folder_path, merged_file_name), "w", encoding="utf-8") as f:
    for data in data_set:
        f.write(data + "\n")

print("合并完成。")

需要注意的是，以上代码中添加到集合中的数据是按行读取的，如果想按照其他方式去重，可以根据需要进行修改。

python 文件合并去重

在Python中，可以使用以下步骤来合并和去重根目录下的所有txt文件：

1. 遍历根目录下的所有文件，筛选出txt文件。
2. 打开每个txt文件，读取其中的内容。
3. 将每个文件中的内容添加到一个列表中。
4. 使用集合(set)数据结构对列表进行去重操作。
5. 将去重后的内容写入一个新的txt文件中。

以下是一个示例代码，用于实现这个功能：

import os

root_dir = "根目录路径"
output_file = "合并去重后的文件.txt"
file_content_set = set()

# 遍历根目录下的所有文件
for root, dirs, files in os.walk(root_dir):
    for file in files:
        # 筛选出txt文件
        if file.endswith(".txt"):
            file_path = os.path.join(root, file)
            # 打开文件并读取内容
            with open(file_path, "r", encoding="utf-8") as f:
                content = f.read()
                # 将内容添加到集合中
                file_content_set.update(content.splitlines())

# 将去重后的内容写入新的txt文件
with open(output_file, "w", encoding="utf-8") as f:
    f.write("\n".join(file_content_set))

以上代码会遍历根目录下的所有txt文件，并将它们的内容合并并去重，最终将去重后的内容写入一个新的txt文件中。请根据实际情况修改代码中的根目录路径和输出文件名。<span class="em">1</span><span class="em">2</span>
#### 引用[.reference_title]
- *1* [python3.7.2下多个txt文件合并去重](https://download.csdn.net/download/qq_41650481/11007723)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* [使用python对文件夹里的所有表格合并且去重](https://blog.csdn.net/weixin_47970003/article/details/121792711)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]