python multiprocessing 如何并行处理不同的任务
时间: 2023-10-13 19:29:15 浏览: 140
Python中运行并行任务技巧
Python的multiprocessing模块可以用于并行处理不同的任务。具体步骤如下:
1. 导入multiprocessing模块。
2. 创建一个进程池Pool对象,指定进程池中的进程数量。
3. 使用Pool对象的map()或imap()方法,将要执行的任务以及任务所需的参数传递给它。
4. 最后,关闭进程池,释放资源。
下面是一个简单的示例代码,其中有两个不同的任务需要并行处理:
```python
import multiprocessing
def task1(arg):
# 执行任务1
pass
def task2(arg):
# 执行任务2
pass
if __name__ == '__main__':
pool = multiprocessing.Pool(processes=2) # 创建进程池对象,包含2个进程
results = [] # 存储任务执行结果
for i in range(10):
if i % 2 == 0:
results.append(pool.apply_async(task1, args=(i,))) # 将任务1提交到进程池中执行
else:
results.append(pool.apply_async(task2, args=(i,))) # 将任务2提交到进程池中执行
pool.close() # 关闭进程池,不再接受新的任务
pool.join() # 等待所有任务完成
for r in results:
print(r.get()) # 获取任务执行结果
```
在上面的示例中,我们创建了一个包含2个进程的进程池对象,然后将10个任务交给进程池处理。如果任务的编号是偶数,就执行任务1,否则执行任务2。最后,我们等待所有任务完成,并获取它们的执行结果。注意,我们使用了apply_async()方法来提交任务,这个方法是异步的,会立即返回一个AsyncResult对象,可以通过它来获取任务的执行结果。
阅读全文