Python并发编程：threading与multiprocessing模块详解及实例

"这篇文章主要介绍了Python的threading和multiprocessing模块的基本用法，包括线程和进程的概念、创建方法以及使用中的注意事项。" 在Python中，`threading`和`multiprocessing`模块提供了多线程和多进程的支持，用于实现并发编程。线程和进程是并行处理任务的基础，它们允许程序同时执行多个不同的任务，提高系统资源的利用率。 一、threading模块 1. 线程创建 - 传入函数：这是创建线程的最基本方式，通过`threading.Thread`类实例化，并设置`target`参数为要执行的函数，`args`参数为函数的参数。例如： ```python import threading def counter(n): # 线程执行的代码 ... th = threading.Thread(target=counter, args=(1000,)) th.start() th.join() # 主线程等待子线程完成 ``` - 子类化Thread：通过继承`threading.Thread`类并重写`run`方法，可以定制线程的行为。 - 线程池（ThreadPoolExecutor）：`concurrent.futures`模块提供了一个线程池接口，可以创建线程池并提交任务。 2. 线程同步 - 锁（Lock）：用于保护共享资源，确保同一时刻只有一个线程访问。 - 信号量（Semaphore）：控制同时访问特定资源的线程数量。 - 条件变量（Condition）：在线程间同步，等待某个条件满足后继续执行。 - 事件（Event）：线程间传递简单信号。 二、multiprocessing模块 1. 进程创建 - 进程池（Pool）：类似线程池，但管理的是进程。可以通过`multiprocessing.Pool`创建进程池，提交任务。 - Process类：直接实例化`multiprocessing.Process`类，指定`target`参数和`args`参数，然后调用`start()`启动进程。 2. 进程间通信（IPC） - 队列（Queue）：进程间共享数据的一种方式，支持先进先出（FIFO）原则。 - 管道（Pipe）：双工通信通道，允许两个进程之间双向传输数据。 - 共享内存（Manager）：通过`multiprocessing.Manager`，可以创建跨进程的共享数据结构。 3. 同步原语 - 锁（Lock）：与`threading.Lock`类似，但在进程间有效。 - 信号量（Semaphore）：同样适用于进程间同步。 - 事件（Event）：进程间的信号传递。 注意事项 - 多线程并不一定能提升程序的运行速度，因为线程之间的上下文切换会带来额外开销。 - Python的全局解释器锁（GIL）限制了多线程环境下CPU的并行计算，适合于IO密集型任务而非CPU密集型任务。 - 进程间没有GIL，因此在CPU密集型任务中，使用多进程可能更有效。 - 在使用线程或进程时，应充分考虑任务性质和资源需求，合理选择模型。 - 并发编程需要处理好同步问题，避免竞态条件和死锁的发生。 总结，Python的`threading`模块适合处理IO密集型任务，而`multiprocessing`模块则更适合CPU密集型任务，它们各自有其适用场景，正确理解和使用这两个模块能有效提升Python程序的并发性能。