Python并发编程：concurrent.futures与asyncio实战解析

本文主要讨论了Python中用于并发编程的两个关键模块：concurrent.futures和asyncio，以及它们的核心特性和使用方法。 concurrent.futures模块是Python标准库的一部分，自Python3.2开始引入。这个模块提供了一种统一的接口来处理多线程和多进程任务。主要包含ThreadPoolExecutor和ProcessPoolExecutor两个类。ThreadPoolExecutor允许在多个线程中执行可调用对象，而ProcessPoolExecutor则在不同进程中执行任务。这两个类内部维护了一个工作线程或进程池以及待执行任务的队列，简化了并发编程的复杂性。 ThreadPoolExecutor的submit()方法用于向线程池提交任务，返回一个Future对象，可以用来检查任务是否完成或者获取结果。例如： ```python import time from concurrent.futures import ThreadPoolExecutor def pub_task(msg): time.sleep(3) return msg pool = ThreadPoolExecutor(max_workers=3) task1 = pool.submit(pub_task, 'a') task2 = pool.submit(pub_task, 'b') print(task1.done()) # False time.sleep(4) print(task2.done()) # True print(task1.result()) print(task2.result()) ``` 另一方面，map()方法则返回一个迭代器，按照调用的顺序生成结果。需要注意的是，map()的返回结果顺序可能会导致在等待第一个结果时产生阻塞，如果第一个任务耗时较长，而其他任务较短。 自Python3.4起，asyncio模块成为标准库的一部分，它基于事件循环和协程实现并发。asyncio库利用yield from表达式（在Python3.5中被async/await语法替代），提供了一种更高效、非阻塞的并发方式。相比于concurrent.futures，asyncio更加适合I/O密集型任务，因为它允许在一个线程内并发地执行多个I/O操作，显著提高了程序的运行效率。 concurrent.futures适用于需要利用多核CPU进行计算密集型任务的情况，而asyncio则更适合于网络请求、文件读写等I/O密集型场景。开发者可以根据具体的应用需求选择合适的并发工具。