pymongo 数据库有重复文档时怎么去重

在Pymongo（MongoDB的官方Python驱动）中，如果你需要从集合（collection）中去除重复的文档，通常的做法是在插入新文档之前检查其唯一标识符，比如 `_id` 或者自定义的唯一字段。如果该字段已经存在于集合中，那么就不插入新的副本。以下是一个简单的示例：

from pymongo import MongoClient

# 连接到MongoDB数据库
client = MongoClient('mongodb://localhost:27017/')
db = client['your_database']
collection = db['your_collection']

# 定义你要基于哪个字段去重
unique_field = 'your_unique_field'

# 查询已存在的文档
existing_docs = collection.find({unique_field: {'$exists': True}})

# 新增文档前检查是否重复
for doc in existing_docs:
    if not collection.count_documents({unique_field: doc[unique_field]}):
        collection.insert_one(doc)

# 如果你想基于整个文档内容去重，可以先创建一个集合来存储唯一的文档ID
uniques = set()
for doc in collection.find():
    unique_id = doc.get(unique_field, '')
    if unique_id and unique_id not in uniques:
        collection.replace_one({'_id': doc['_id']}, doc)
        uniques.add(unique_id)