python去重脚本

以下是一个Python的去重脚本的示例代码：

import os
import glob
import filecmp

dir_path = r'D:\文件去重'
file_list = \[\]
count = 0

for i in glob.glob(dir_path + '/**/*', recursive=True):
    if os.path.isfile(i):
        file_list.append(i)

for x in file_list:
    for y in file_list:
        if x != y and os.path.exists(x) and os.path.exists(y):
            if filecmp.cmp(x, y):
                os.remove(y)
                count += 1

print(f"运行结束，一共删除了{count}个重复文件")

这个脚本可以用于清除文件夹中的重复文件。它使用了os模块来与操作系统进行交互，glob模块用于查找文件目录和文件，并将搜索结果返回到一个列表中，filecmp模块用于比较文件的内容。脚本首先将文件添加到一个列表中，然后使用嵌套循环比较列表中的文件，如果发现重复的文件，则删除其中一个。最后，脚本会输出删除的重复文件的数量。
#### 引用[.reference_title]
- *1* [python 图片去重脚本](https://blog.csdn.net/HaoZiHuang/article/details/127756170)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [Python 实用脚本 实现文件重复去重](https://blog.csdn.net/Abieai/article/details/128836571)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]