mongo DB去重

MongoDB去重通常有两种常见的方法：

1. **使用唯一索引** (Unique Index): MongoDB支持在集合上创建唯一索引，如果你知道某个字段值应该是唯一的，可以在该字段上创建一个`unique`索引。例如：

   db.collection.createIndex({ field: 1 }, { unique: true })

如果插入的数据违反了这个唯一性规则，MongoDB会自动抛出错误。

2. **查询并删除重复文档** (Upsert操作 or $setOnInsert):
通过使用`$setOnInsert`更新操作符，结合`upsert: true`，你可以确保当尝试插入一条已存在的文档时，不做任何操作。如果新文档与现有文档唯一键匹配，旧文档将不会被替换，新数据会被忽略。

   db.collection.updateOne(
       { _id: <existing_id> }, // 根据唯一标识查找
       { $setOnInsert: { field: <new_value> } },
       { upsert: true }
   )

3. **聚合（Aggregation）管道**:
如果你需要在查询阶段去除重复项，可以使用`$group`阶段配合`_id`字段来完成。例如，如果你想要按某个字段去除重复，可以用下面的命令：

   db.collection.aggregate([
       {
           $group: {
               _id: "$field",
               count: { $sum: 1 }
           }
       },
       {
           $match: { count: 1 }  // 只保留计数为1的文档
       }
   ])

这样返回的结果就是唯一的值列表。

记住，每种方法都有其适用场景，选择合适的方式取决于你的具体需求和数据规模。