删除txt文件中重复的文本

删除txt文件中的重复文本通常需要一些编程技巧，因为直接读取并比较每行内容会很慢，尤其是对于大文件。一种常见的做法是逐行读取文件，将每一行添加到集合（如Python中的set）中，由于集合的特性会自动去除重复元素。然后，你可以再将集合转换回列表，写入新的文件。

以下是Python的一个简单示例：

def remove_duplicates(input_file, output_file):
    lines = set()
    with open(input_file, 'r') as fin, open(output_file, 'w') as fout:
        for line in fin:
            lines.add(line.strip())
        fout.write('\n'.join(lines))

# 使用方法
remove_duplicates('input.txt', 'output.txt')

这个脚本会创建一个新的名为`output.txt`的文件，其中包含`input.txt`中不重复的原始文本行。