重写logging.handlers.TimedRotatingFileHandler实现多进程日期分割 flask项目

重写`logging.handlers.TimedRotatingFileHandler`类可以让你自定义日志文件的轮转策略。在多进程环境中，如使用Gunicorn运行Flask应用时，你可能需要处理多个工作进程写入同一个日志文件的问题。默认情况下，`TimedRotatingFileHandler`不支持多进程写入，因此你需要确保日志系统能够在多进程环境下正确地轮转日志文件。

以下是一个简单的例子，展示了如何在Flask项目中重写`TimedRotatingFileHandler`来实现多进程日期分割的日志轮转：

import logging.handlers
import os

class MultiProcessTimedRotatingFileHandler(logging.handlers.TimedRotatingFileHandler):
    def __init__(self, filename, when='H', interval=1, backupCount=0, encoding=None, delay=False):
        super().__init__(filename, when, interval, backupCount, encoding, delay)
        # 确保父进程打开文件时，子进程能够正确复制文件描述符
        selfFH = None

    def getFilesToDelete(self):
        # 获取需要删除的旧日志文件列表
        dirName, baseName = os.path.split(self.baseFilename)
        fileNames = os.listdir(dirName)
        result = [os.path.join(dirName, fileName) for fileName in fileNames if fileName.startswith(baseName + ".")]
        result.sort()
        return result[-self.backupCount:]

    def doRollover(self):
        # 多进程环境下，确保日志文件的轮转
        if self.stream:
            self.stream.close()
            self.stream = None
        if self.backupCount > 0:
            for s in self.getFilesToDelete():
                os.remove(s)
        # 这里不需要重新打开文件，因为我们将通过 reopen() 方法来处理它
        self.reopen()

    def reopen(self):
        # 重新打开文件，确保可以写入新的日志文件
        if self.encoding is None:
            mode = 'a'
        else:
            mode = 'a'
        self.stream = self._open()
        if self.delay:
            self.stream.close()
            self.stream = None

class MyRotatingFileHandler(MultiProcessTimedRotatingFileHandler):
    def __init__(self, filename, when='H', interval=1, backupCount=0, encoding=None, delay=False):
        super().__init__(filename, when, interval, backupCount, encoding, delay)
        # 可以在这里添加更多自定义的逻辑

在Flask应用中使用自定义的日志处理器：

from flask import Flask
import logging
from myrotatingfilehandler import MyRotatingFileHandler

app = Flask(__name__)

# 创建logger对象
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)  # 设置日志级别

# 创建自定义的多进程日志处理器
handler = MyRotatingFileHandler('app.log', when='D', interval=1, backupCount=7, encoding='utf-8', delay=False)

# 设置处理器的日志级别和格式
handler.setLevel(logging.DEBUG)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

# 添加处理器到logger对象
logger.addHandler(handler)

# 使用logger
@app.route('/')
def index():
    logger.debug('debug message')
    logger.info('info message')
    logger.warning('warning message')
    logger.error('error message')
    logger.critical('critical message')
    return 'Hello, World!'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

使用这个自定义的`MyRotatingFileHandler`，你可以确保在多进程的Flask应用中，日志文件能够按照指定的策略进行日期分割轮转，同时处理多进程的写入问题。