通过python脚本删除文件中指定的重复内容

在Python中，删除文件中的重复内容可以采用多种方式，通常我们会先读取整个文件到内存中，然后对内容进行去重处理，最后再将结果写回文件。这里提供一种常见的方法：

# 导入需要的模块
import hashlib

def remove_duplicates(file_path):
    # 创建一个集合用于存储唯一的哈希值
    unique_hashes = set()

    # 打开文件并逐行读取
    with open(file_path, 'r', encoding='utf-8') as file:
        lines = file.readlines()

    # 新建一个列表用于存放不重复的内容
    unique_lines = []

    # 遍历每一行，计算其MD5哈希值并检查是否已存在集合中
    for line in lines:
        hashed_line = hashlib.md5(line.encode()).hexdigest()  # 使用MD5生成哈希值
        if hashed_line not in unique_hashes:
            unique_hashes.add(hashed_line)
            unique_lines.append(line)

    # 将去重后的内容写回到原文件
    with open(file_path, 'w', encoding='utf-8') as file:
        file.writelines(unique_lines)

# 调用函数并传入文件路径
remove_duplicates('your_file.txt')

这个脚本首先读取文件内容，然后通过计算每行的MD5散列值判断是否重复。如果某一行的哈希值没有出现过，就将其添加到新的列表中。最后，将这个去重后的列表内容写回到原始文件。

请注意，这种方法假设文件能全部加载到内存中，如果文件非常大，可能会导致内存不足。对于大型文件，可以考虑使用其他算法如布隆过滤器或者分块处理。