Python multiprocessing模块：实现进程同步与通信

102 浏览量更新于2024-09-03 收藏 80KB PDF 举报

"本文主要探讨了Python中实现进程同步和通信的方法，重点讲解了multiprocessing模块中的Process、Queue、Pipe和Lock等组件的使用。通过一个示例代码展示了如何创建和管理多进程，并实现了进程间的通信。" 在Python中，由于全局解释器锁（GIL）的存在，多线程并不能充分利用多核CPU的优势。为了实现真正意义上的并行计算，Python提供了multiprocessing模块，它支持多进程编程，使得不同的进程可以在不同的CPU核心上运行，从而达到提高程序性能的目的。 1. **Process**: Process是multiprocessing模块的基础类，代表一个进程对象。通过创建Process实例并调用其start()方法启动进程，通过join()方法等待进程结束。在示例中，`Pool`类是基于Process的，用于管理一组进程，它可以同时运行多个进程，简化了并发处理。 2. **Queue**: Queue是进程间通信的重要工具，用于在进程之间传递数据。Queue具有线程安全的特性，可以确保在多进程环境下正确地读写数据。在示例中，p.apply_async(run_proc, args=('Process'+str(i),))使用了一个匿名函数将任务放入进程池，这里的任务可以是Queue中获取的数据。 3. **Pipe**: Pipe提供了双工（双向）通信通道，允许两个进程之间进行数据交换。每个Pipe对象包含一个send端和一个recv端，分别用于发送和接收数据。 4. **Lock**: Lock是同步原语的一种，用于保护共享资源免受多个进程的并发访问。在多进程环境中，当一个进程获得了锁之后，其他试图获取同一锁的进程将会被阻塞，直到持有锁的进程释放锁。Lock可以防止数据竞争，确保数据的一致性。在上述的引例中，通过创建Pool对象并设置进程数量（如p=Pool(8)），可以将16个进程分配到8个CPU核心上执行。apply_async()方法用于异步地提交任务到进程池，这里的任务是run_proc函数。通过调用close()方法关闭进程池，不再接受新的任务，然后使用join()等待所有进程执行完毕。通过这样的方式，Python的multiprocessing模块可以帮助开发者有效地管理和协调多进程，实现进程间的同步和通信，从而在多核系统上发挥出更高的计算效率。在实际项目中，根据需求选择合适的同步和通信机制，可以更好地优化代码性能和避免潜在的并发问题。

Python实现进程同步和通信的方法实现进程同步和通信的方法

本篇文章主要介绍了Python实现进程同步和通信的方法，详细的介绍了Process、Queue、Pipe、Lock等组件，

小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

Python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进

程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，

可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了

Process、Queue、Pipe、Lock等组件。

引例：引例：

如之前创建多进程的例子

# -*- coding:utf-8 -*-

from multiprocessing import Process,Pool

import os,time

def run_proc(name): ##定义一个函数用于进程调用

for i in range(5):

time.sleep(0.2) #休眠0.2秒

print 'Run child process %s (%s)' % (name, os.getpid())

#执行一次该函数共需1秒的时间

if __name__ =='__main__': #执行主进程

print 'Run the main process (%s).' % (os.getpid())

mainStart = time.time() #记录主进程开始的时间

p = Pool(8) #开辟进程池

for i in range(16): #开辟14个进程

p.apply_async(run_proc,args=('Process'+str(i),))#每个进程都调用run_proc函数，

#args表示给该函数传递的参数。

print 'Waiting for all subprocesses done ...'

p.close() #关闭进程池

p.join() #等待开辟的所有进程执行完后，主进程才继续往下执行

print 'All subprocesses done'

mainEnd = time.time() #记录主进程结束时间

print 'All process ran %0.2f seconds.' % (mainEnd-mainStart) #主进程执行时间

运行结果：

Run the main process (36652).

Waiting for all subprocesses done …

Run child process Process0 (36708)Run child process Process1 (36748)

Run child process Process3 (36736)

Run child process Process2 (36716)

Run child process Process4 (36768)

如第3行的输出，偶尔会出现这样不如意的输入格式，为什么呢？

原因是多个进程争用打印输出资源的结果。前一个进程为来得急输出换行符，该资源就切换给了另一个进程使用，致使两个进

程输出在同一行上，而前一个进程的换行符在下一次获得资源时才打印输出。

Lock

为了避免这种情况，需在进程进入临界区（使进程进入临界资源的那段代码，称为临界区）时加锁。

可以向如下这样添加锁后看看执行效果：

# -*- coding:utf-8 -*-

lock = Lock() #申明一个全局的lock对象

def run_proc(name):

global lock #引用全局锁

for i in range(5):

time.sleep(0.2)

lock.acquire() #申请锁

print 'Run child process %s (%s)' % (name, os.getpid())

lock.release() #释放锁

Semaphore

Semaphore为信号量机制。当共享的资源拥有多个时，可用Semaphore来实现进程同步。其用法和Lock差不多，s =

Semaphore(N)，每执行一次s.acquire()，该资源的可用个数将减少1，当资源个数已为0时，就进入阻塞；每执行一次

下载后可阅读完整内容，剩余3页未读，立即下载

weixin_38636671

粉丝: 6
资源: 928

Python multiprocessing模块：实现进程同步与通信

Python多进程同步Lock、Semaphore、Event实例

Python多进程同步简单实现代码

python socket两个客户端相互聊天 聊天室功能

python多进程实现进程间通信实例

Python之进程+线程+协程（进程间通信、进程同步、进程池、回调函数）

Python multiprocessing模块：实现进程同步与通信

利用Python实现简单的多进程通信

python实现操作系统进程通信

我还想知道其他实现关于python进程之间通信的方法

python线程进程间通信

最新资源

python socket两个客户端相互聊天聊天室功能