Can't pickle <class 'gensim.models.word2vec.Word2Vec'>: import of module 'gensim.models.word2vec' failed
时间: 2024-01-15 20:05:03 浏览: 134
在python下实现word2vec词向量训练与加载实例
这个错误提示通常是由于使用了 multiprocessing 库进行并行操作,但是在多进程中无法序列化 Word2Vec 对象导致的。解决方法是在创建进程前将 Word2Vec 对象转化为字符串形式,然后在进程内重新创建对象。示例代码如下:
```python
import gensim
import multiprocessing as mp
model = gensim.models.Word2Vec.load('model_path')
def worker_func(model_str):
model = gensim.models.Word2Vec.load(model_str)
# 进程操作
if __name__ == '__main__':
model_str = pickle.dumps(model)
pool = mp.Pool(processes=4)
results = [pool.apply_async(worker_func, args=(model_str,)) for i in range(4)]
output = [p.get() for p in results]
```
在以上代码中,我们使用了 pickle.dumps() 将 Word2Vec 对象转化为字符串形式,然后在进程内重新创建对象。
阅读全文