Python multiprocess pool模块报错模块报错pickling error问题解决问题解决
方法分析方法分析
本文实例讲述了Python multiprocess pool模块报错pickling error问题解决方法。分享给大家供大家参考，具体如下：
问题问题
之前在调用class内的函数用multiprocessing模块的pool函数进行多线程处理的时候报了以下下错误信息:
PicklingError: Can’t pickle <type ‘function’>: attribute lookup __builtin__.function failed
查了下官方文档发现python默认只能pickle以下的类型:
None, True, and False
integers, floating point numbers, complex numbers
strings, bytes, bytearrays
tuples, lists, sets, and dictionaries containing only picklable objects
functions defined at the top level of a module (using def, not lambda)
built-in functions defined at the top level of a module
classes that are defined at the top level of a module
instances of such classes whose dict or the result of calling getstate() is picklable (see section –
Pickling Class Instances for details).
函数只能pickle在顶层定义的函数，很明显的class内的函数无法被pickle因此会报错。
import multiprocessing
def work(): # top-level 函数
print "work!"
class Foo():
def work(self): # 非top-level函数
print "work"
pool1 = multiprocessing.Pool(processes=4)
foo = Foo()
pool1.apply_async(foo.work)
pool1.close()
pool1.join()
# 此时报错
pool2 = multiprocessing.Pool(processes=4)
pool2.apply_async(work)
pool2.close()
pool2.join()
# 此时工作正常
解决方案解决方案
调用pathos包下的multiprocessing模块代替原生的multiprocessing。pathos中multiprocessing是用dill包改写过的，dill包可以
将几乎所有python的类型都serialize，因此都可以被pickle。或者也可以自己用dill写一个（有点重复造轮子之嫌啊）
参考参考
1. https://stackoverflow.com/questions/8804830/python-multiprocessing-picklingerror-cant-pickle-type-function
2. https://docs.python.org/3/library/pickle.html#what-can-be-pickled-and-unpickled
3. https://github.com/uqfoundation/pathos
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python进程与线程操作技巧总结》、《Python数据结构与算法教
程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》、
《Python+MySQL数据库程序设计入门教程》及《Python常见数据库操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
您可能感兴趣的文章您可能感兴趣的文章:Python多进程池 multiprocessing Pool用法示例Python多进程multiprocessing.Pool类详解Python多进程
库multiprocessing中进程池Pool类的使用详解Python multiprocessing模块中的Pipe管道使用实例Python使用multiprocessing
创建进程的方法Python多进程multiprocessing用法实例分析Python3多进程 multiprocessing 模块实例详解python实现在
pickling的时候压缩的方法python基于multiprocessing的多进程创建方法Python利用multiprocessing实现最简单的分布式作业
调度系统实例简单学习Python多进程Multiprocessing
评论0