python找出文件中重复行

可以使用Python中的set()函数来查找文件中的重复行。

下面是一个示例代码：

with open("filename.txt", "r") as file:
    lines = file.readlines()

    # 使用set()函数查找重复行
    duplicates = set()
    for line in lines:
        if line in duplicates:
            print(line)
        else:
            duplicates.add(line)

在上面的代码中，我们打开了一个名为filename.txt的文件，并使用readlines()函数将其所有行读入一个列表中。然后，我们使用set()函数来查找重复行。如果一个行已经在set()中存在，那么它就是重复的，我们就可以打印出来。否则，我们将其添加到set()中，以便在后面的行中进行查找。

相关问题

python在excel中找出重复数据并删除

你可以使用Python中的pandas和openpyxl库来实现在Excel中找出重复数据并删除。以下是一个简单的示例代码：

import pandas as pd
from openpyxl import load_workbook

# 读取Excel文件
df = pd.read_excel("your_file.xlsx")

# 找出重复行
duplicate_rows = df[df.duplicated()]

# 删除重复行
df = df.drop_duplicates()

# 将结果写回Excel文件
book = load_workbook("your_file.xlsx")
writer = pd.ExcelWriter("your_file.xlsx", engine='openpyxl') 
writer.book = book
df.to_excel(writer, sheet_name='Sheet1', index=False)
writer.save()

该代码首先读取Excel文件并将其转换为pandas数据帧。然后使用`duplicated()`函数找出重复的行并将其保存在一个新的数据帧中。接着，使用`drop_duplicates()`函数删除重复行。最后，将结果写回原始Excel文件中。注意，需要安装pandas和openpyxl库才能运行该代码。

python删除重复图片

Python删除重复图片可以通过以下步骤实现：

1. 遍历指定目录下的所有图片文件。
2. 对每个图片文件计算并保存其哈希值，可以使用图片哈希算法如pHash、dHash或aHash。
3. 建立一个空的哈希值集合。
4. 对每个图片文件的哈希值进行判断，如果哈希值已经在集合中存在，则证明该图片是重复的；反之，将该哈希值加入集合并将该图片文件移到另一个目录中，作为已经删除的备份。
5. 图片文件遍历完成后，原始目录中的所有重复图片都已经被删除，而备份目录中的图片则是被删除的重复图片备份。

这个方法的核心步骤是通过计算图片的哈希值进行比较，因为哈希值在一定程度上能够反映出图片的内容特征，所以相同或相似的图片的哈希值也会相对接近。通过利用哈希值进行比较，能够快速找出重复的图片并删除。

需要注意的是，由于哈希值是通过将图片文件转化为数值进行计算得出的，所以不能保证100%的准确性。在实际操作中，可能会存在一些不同的图片被误判为重复图片，或者相同的图片被误判为不同图片的情况。因此，在删除重复图片之前，建议先备份图片并进行人工审核，确保没有误删重要的图片。