用python写一个脚本将txt中所有重复的行进行去重

当然可以！以下是一个用 Python 编写的脚本，可以将文本文件中的重复行去重：

def remove_duplicate_lines(input_file, output_file):
    lines_seen = set()  # 用于保存已经出现过的行
    with open(input_file, 'r') as file_in, open(output_file, 'w') as file_out:
        for line in file_in:
            if line not in lines_seen:
                file_out.write(line)
                lines_seen.add(line)

# 使用示例
input_file = 'input.txt'  # 输入文件名
output_file = 'output.txt'  # 输出文件名
remove_duplicate_lines(input_file, output_file)
print("去重完成！")

请将脚本保存为一个 Python 文件（如 `remove_duplicates.py`），然后将待去重的文本内容保存到名为 `input.txt` 的文件中。运行脚本后，将会生成一个名为 `output.txt` 的文件，其中已经去除了重复行的内容。

注意：该脚本会保留首次出现的行，删除后续重复的行。如果你希望保留最后一次出现的行，可以修改 `remove_duplicate_lines` 函数中的代码为 `lines_seen[line] = True`，并在写入文件时按照字典的键值顺序进行遍历和写入操作。

希望对你有帮助！如果有任何问题，请随时提问。