python删除文件中指定的重复内容

在Python中，如果你想要删除文件中的重复内容，可以采用几种方法。这里以常见的操作为例，假设你想从文本文件中移除所有已存在的行：

1. 使用set：你可以读取整个文件到一个集合(set)，因为集合不允许有重复元素，然后将集合写回文件。这会自动去除重复行。

with open('input.txt', 'r') as f_in, open('output.txt', 'w') as f_out:
    lines = set(f_in.readlines())
    f_out.writelines(lines)

2. 使用pandas库：如果文件较大，并且需要处理更复杂的数据结构，可以使用pandas库。先将文件读入DataFrame，然后去重并保存。

import pandas as pd

data = pd.read_csv('input.txt', header=None)  # 假设是CSV文件，如果是txt可以用read_text()
data.drop_duplicates(inplace=True)  # 删除重复行
data.to_csv('output.txt', index=False, header=False)  # 保存到新文件

注意，以上操作都是基于每一行被视为独立的数据单位。如果你是指字符串或整数的重复部分，可能需要先对数据进行预处理，比如分词、哈希等。