test.txt文件内容重复写一份追加到文件尾部Python

在Python中，如果你想要读取`test.txt`文件的内容，检查是否存在重复的部分，然后将未重复的部分追加到文件尾部，可以按照以下步骤操作：

# 打开文件并读取所有内容
with open('test.txt', 'r') as file:
    lines = file.readlines()

# 将读取的内容转换成集合，去重
unique_lines = set(lines)

# 创建一个新的列表，包含唯一行
non_duplicate_lines = list(unique_lines)

# 检查非重复行是否为空，如果文件原本只有一行或全都是重复，这一步会空
if non_duplicate_lines:
    # 打开文件准备追加
    with open('test.txt', 'a') as file:
        # 追加非重复行到文件尾部
        for line in non_duplicate_lines:
            file.write(line)  # 确保每行都添加了换行符 '\n'

在这个示例中，我们假设输入文件中的数据是以行的形式存储的，并且每一行都是独立的。如果文件很大，一次性加载到内存可能会有性能问题，这时可以考虑逐行读取并处理。