Pymongo如何批量去重？

在Pymongo中批量去重通常涉及两个步骤：首先筛选出待去重的文档集合，然后通过判断文档唯一标识符是否已存在来避免插入重复。由于Python列表推导式允许一次性处理多个文档，所以可以高效地进行批量操作。以下是一个示例：

from pymongo import MongoClient, ASCENDING

# 创建一个集合的副本（这里假设我们需要基于 '_id' 字段去重）
unique_ids = set()

# 连接到MongoDB数据库
client = MongoClient('mongodb://localhost:27017/')
db = client['your_database']
collection = db['your_collection']

# 获取待去重的文档列表，按照 '_id' 升序排序（因为 '_id' 应该是唯一的）
docs_to_remove_duplicates = list(collection.find().sort('_id', ASCENDING))

# 遍历文档列表，只保留第一次出现的文档
for index, doc in enumerate(docs_to_remove_duplicates):
    if doc['_id'] not in unique_ids:
        collection.replace_one({'_id': doc['_id']}, doc)  # 插入文档
        unique_ids.add(doc['_id'])