Python多进程写入同一文件的方法

Python多进程写入同一文件的方法多进程写入同一文件的方法

今天小编就为大家分享一篇Python多进程写入同一文件的方法，具有很好的参考价值，希望对大家有所帮助。

一起跟随小编过来看看吧

最近用python的正则表达式处理了一些文本数据，需要把结果写到文件里面，但是由于文件比较大，所以运行起来花费的时间

很长。但是打开任务管理器发现CPU只占用了25%，上网找了一下原因发现是由于一个叫GIL的存在，使得Python在同一时间

只能运行一个线程，所以只占用了一个CPU，由于我的电脑是4核的，所以CPU利用率就是25%了。

既然多线程没有什么用处，那就可以使用多进程来处理，毕竟多进程是可以不受GIL影响的。Python提供了一个

multiprocessing的多进程库，但是多进程也有一些问题，比如，如果进程都需要写入同一个文件，那么就会出现多个进程争用

一样，linux环境下的multiprocessing库是基于fork函数，父进程fork了一个子进程之后会把自己的资源，比如文件句柄都传递

给子进程。但是在windows环境下没有fork函数，所以如果你在父进程里打开了一个文件，在子进程中写入，会出现

ValueError: I/O operation on closed file这样的错误，而且在windows环境下最好加入if __name__ == '__main__'这样的判

断，以避免一些可能出现的RuntimeError或者死锁。

下面是代码：下面是代码：

from multiprocessing import Pool

import time

def mycallback(x):

with open('123.txt', 'a+') as f:

f.writelines(str(x))

pool.apply_async(sayHi, (i,), callback=mycallback)

pool.close()

pool.join()

e2 = time.time()

print float(e2 - e1)

运行结果如下：运行结果如下：

以上这篇Python多进程写入同一文件的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支

持我们。