删除txt文件中同一行重复的文本

删除txt文件中同一行重复的文本，可以采用多种编程语言来实现，这里提供一种常见的Python方法，使用集合（Set）数据结构来快速判断是否存在重复行：

def remove_duplicates(filename):
    with open(filename, 'r') as f_in, open('output.txt', 'w') as f_out:
        lines_seen = set()
        for line in f_in:
            if line not in lines_seen:
                f_out.write(line)
                lines_seen.add(line.strip())  # 去除换行符并添加到集合

# 调用函数
remove_duplicates('input.txt')

这个脚本会读取`input.txt`文件，检查每一行是否已经在`lines_seen`集合中出现过。如果没出现过，则将其写入新的`output.txt`文件，并将该行添加到集合中。这样新文件就不会有重复行。