python多进程占满cpu的脚本

Python中通过`multiprocessing`模块可以创建并管理子进程，如果一个脚本大量使用多进程并且每个进程都保持活跃状态，可能会导致CPU占用率较高。这种情况通常发生在以下场景：

1. **循环启动任务**：如果一个进程中不断启动新的子进程，而这些子进程没有及时退出或阻塞，CPU将一直处理新旧进程间的切换。

from multiprocessing import Process

def worker():
    while True:
        # 没有结束条件的无限循环
        pass

if __name__ == "__main__":
    for _ in range(10):  # 创建10个子进程
        p = Process(target=worker)
        p.start()

2. **阻塞I/O操作**：在某些需要等待I/O操作完成的函数（如网络请求、文件读写）中，进程虽然看似暂停，但由于进程上下文切换的存在，CPU仍然会分配给它一定的时间片。

import time
import requests

def blocking_request():
    requests.get('https://www.example.com', timeout=None)  # 阻塞直到响应返回

for _ in range(10):
    process = Process(target=blocking_request)
    process.start()

为了解决这个问题，你可以考虑以下策略：
- **控制进程数**：设置合理的最大并发进程数，并在完成某个任务后关闭不需要的进程。
- **使用进程池**：`Pool`类可以限制同时运行的进程数，减少不必要的资源浪费。
- **适当设计任务生命周期**：为每个子进程设定明确的工作时间或结束条件。
- **利用异步IO**：对于IO密集型任务，可以使用`concurrent.futures`库结合`ThreadPoolExecutor`或`ProcessPoolExecutor`来提高效率。