python 多进程 logging

在Python中，可以使用`multiprocessing`模块创建多个进程来并行执行任务。当多个进程同时执行时，由于每个进程都有自己的执行环境，因此它们的日志信息需要分别记录。为了实现多进程的日志记录，可以使用`multiprocessing`模块的`Queue`来处理日志信息的传递。

首先，我们可以在主进程中创建一个`Queue`对象，用于接收各个子进程的日志信息。然后，将这个`Queue`对象作为参数传递给每个子进程，在子进程中通过`logging`模块将日志信息发送到这个`Queue`中。主进程可以通过不断从`Queue`中获取日志信息并进行记录。

具体实现代码如下：

import logging
import multiprocessing
from multiprocessing import Queue

# 配置logging
logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s %(processName)s %(message)s')

# 获取日志队列
def get_logger(queue):
    # 配置logger
    logger = logging.getLogger()
    logger.setLevel(logging.INFO)
    
    # 设置Handler
    handler = logging.QueueHandler(queue)
    logger.addHandler(handler)

    # 日志输出到控制台
    console = logging.StreamHandler()
    console.setLevel(logging.INFO)
    logger.addHandler(console)

    logger.info('sub process started.')


if __name__ == '__main__':
    # 创建日志队列
    queue = Queue()

    # 创建子进程
    p = multiprocessing.Process(target=get_logger, args=(queue,))
    p.start()

    # 创建主进程的logger
    logger = logging.getLogger()
    logger.setLevel(logging.INFO)

    handler = logging.StreamHandler()
    handler.setLevel(logging.INFO)
    logger.addHandler(handler)

    # 主进程等待并获取日志信息进行记录
    while True:
        try:
            record = queue.get(timeout=1)
            logger.handle(record)
        except Exception as e:
            break

    logger.info('all sub processes finished.')

通过这种方式，可以实现多个子进程并行执行任务，并且可以记录每个子进程的日志信息，方便日志的统一管理和分析。