Python使用生成器实现并发：代替线程的策略

"Python 使用生成器代替线程的方法，通过创建和管理生成器函数来实现用户级线程，实现并发执行。" 在Python编程中，线程是并发处理任务的一种方式，但系统线程（也称为内核线程）会受到GIL（全局解释器锁）的限制，导致在多核环境下并行执行效率并不理想。为了解决这个问题，开发者可以使用生成器（generator）来模拟线程的行为，这种方法通常被称为用户级线程或绿色线程。 生成器是一种特殊的迭代器，通过`yield`语句可以在函数内部暂停执行并保存当前状态。当调用`next()`或使用for循环遍历生成器时，函数可以从上次`yield`的地方继续执行，而不是重新开始。这就为实现轻量级并发提供了可能。 以下是一个简单的生成器示例： ```python def countdown(n): while n > 0: print('T-minus', n) yield n -= 1 print('Blastoff!') def countup(n): x = 0 while x < n: print('Counting up', x) yield x += 1 ``` 在这两个生成器函数中，`yield`语句使得函数能够在特定时刻暂停，等待外部调度。为了管理和调度这些生成器，我们可以创建一个类，如`TaskScheduler`： ```python from collections import deque class TaskScheduler: def __init__(self): self._task_queue = deque() def new_task(self, task): ''' 添加新任务到调度器 ''' self._task_queue.append(task) def run(self): ''' 运行直到没有任务 ''' while self._task_queue: task = self._task_queue.popleft() try: # 运行直到下一个yield语句 next(task) self._task_queue.append(task) # 任务未结束，放回队列 except StopIteration: # 生成器不再执行 pass ``` 使用这个调度器，我们可以同时运行`countdown`和`countup`： ```python sched = TaskScheduler() sched.new_task(countdown(10)) sched.new_task(countdown(5)) sched.run() ``` 在上述代码中，`TaskScheduler`将任务添加到队列，然后在`run`方法中按顺序执行每个任务，直到生成器完成或`yield`。由于生成器的特性，它们可以在适当的时候暂停，允许其他任务执行，从而实现了伪并发。 使用生成器代替线程有以下优点： 1. **轻量级**：生成器不涉及操作系统级别的线程，因此创建和切换的成本较低。 2. **无GIL限制**：用户级线程不受GIL限制，可以在单个进程中实现更高的并发度。 3. **易于控制**：你可以精确地控制任务的执行流程，避免了线程同步的问题。 然而，这种方式也有局限性： 1. **非并行执行**：虽然看起来是并发的，但实际执行仍然是串行的，因为它们共享同一个Python解释器。 2. **依赖于调度**：你需要自己编写调度逻辑，确保公平和高效地分配执行时间。 使用生成器实现并发执行是一种有效的优化策略，尤其适用于I/O密集型任务，如网络请求或文件读写。但在CPU密集型任务中，由于GIL的存在，可能无法充分利用多核优势。