一个multiprocessing.apply_async处理多个multiprocessing.Manager.Queue()的示例
时间: 2024-02-05 22:13:02 浏览: 85
简单学习Python多进程Multiprocessing
以下是一个使用`multiprocessing.apply_async`函数处理多个`multiprocessing.Manager.Queue()`的示例代码:
```python
import multiprocessing
def worker(q1, q2):
while True:
item = q1.get()
if item is None:
break
# 处理item
result = item + 1
q2.put(result)
if __name__ == '__main__':
manager = multiprocessing.Manager()
q1 = manager.Queue()
q2 = manager.Queue()
# 启动worker进程
p = multiprocessing.Process(target=worker, args=(q1, q2))
p.start()
# 向队列q1中添加数据
for i in range(10):
q1.put(i)
# 添加结束标记
q1.put(None)
# 从队列q2中读取结果
results = []
for i in range(10):
result = q2.get()
results.append(result)
# 等待worker进程结束
p.join()
print(results)
```
在示例代码中,我们首先创建了两个`multiprocessing.Manager.Queue()`对象:`q1`和`q2`。然后我们启动了一个worker进程,将`q1`和`q2`作为参数传递给worker函数。在worker函数中,我们使用无限循环来不断地从`q1`队列中读取数据,并对每个数据进行处理,然后将结果放入`q2`队列中。当从`q1`中取到None时,说明数据已经全部处理完毕,此时退出循环。
在主进程中,我们向`q1`队列中添加10个数据,并在最后添加一个None作为结束标记。然后我们使用循环从`q2`队列中读取结果,并将结果保存到一个列表中。最后我们等待worker进程结束,并输出结果列表。
需要注意的是,`multiprocessing.Manager.Queue()`对象是进程安全的队列,可以在多个进程之间共享数据。在上面的示例代码中,我们通过`multiprocessing.Process`函数启动了一个worker进程,并将`q1`和`q2`队列作为参数传递给worker函数。在worker函数中,我们可以直接使用`q1`和`q2`队列来进行数据的读取和写入。这样就可以实现多个进程之间的通信和协作。
阅读全文