mongodb增量备份

为了实现mongodb的增量备份，可以利用mongodb的Oplog（操作日志）功能。Oplog是一个特殊的集合，记录了所有对mongodb进行的操作，包括插入、更新和删除等。通过读取Oplog，可以获取到最近一次备份之后的所有操作，从而实现增量备份。

以下是实现mongodb增量备份的步骤：

1. 首先需要开启mongodb的Oplog功能。在启动mongod时，加上--replSet参数，并指定一个副本集名称，例如：

   mongod --replSet myrs

2. 初始化副本集。在mongo shell中执行以下命令：

   rs.initiate()

3. 创建一个mongodump的全量备份。在命令行中执行以下命令：

   mongodump -d mydb -o /var/backups/mongo

4. 编写一个脚本，用于读取Oplog并备份增量数据。以下是一个Python脚本的示例：

   from pymongo import MongoClient
   import subprocess
   
   # 连接到mongodb
   client = MongoClient('localhost', 27017)
   
   # 获取Oplog集合
   oplog = client.local.oplog.rs
   
   # 获取上次备份的时间戳
   with open('/var/backups/mongo/last_backup_time', 'r') as f:
       last_backup_time = f.read().strip()
   
   # 读取Oplog中的增量数据
   query = {'ts': {'$gt': last_backup_time}}
   cursor = oplog.find(query)
   
   # 备份增量数据
   for doc in cursor:
       ns = doc['ns']
       ts = doc['ts']
       op = doc['op']
       o = doc['o']
       if op == 'i':
           # 插入操作
           subprocess.call(['mongodump', '-d', ns.split('.')[0], '-c', ns.split('.')[1], '-o', '/var/backups/mongo', '--query', '{"_id": {"$eq": "%s"}}' % o['_id']])
       elif op == 'u':
           # 更新操作
           subprocess.call(['mongodump', '-d', ns.split('.')[0], '-c', ns.split('.')[1], '-o', '/var/backups/mongo', '--query', '{"_id": {"$eq": "%s"}}' % o['_id']])
       elif op == 'd':
           # 删除操作
           subprocess.call(['mongodump', '-d', ns.split('.')[0], '-c', ns.split('.')[1], '-o', '/var/backups/mongo', '--query', '{"_id": {"$eq": "%s"}}' % o['_id']])
   
   # 更新上次备份的时间戳
   with open('/var/backups/mongo/last_backup_time', 'w') as f:
       f.write(str(oplog.find_one(sort=[('$natural', -1)])['ts']))

该脚本会读取Oplog中的所有增量数据，并根据操作类型备份相应的数据。备份的数据会保存在之前创建的mongodump全量备份的目录中。

5. 将脚本添加到定时任务中，定期执行增量备份。例如，每天凌晨2点执行一次备份：

   0 2 * * * python /path/to/backup_script.py