wiki = WikiCorpus(infile, lemmatize=False, dictionary={}) 报错 The lemmatize parameter is no longer supported. I 如何结局
时间: 2024-03-09 17:44:10 浏览: 224
IIS访问ASP页面时报错The requested resource is in use.的解决办法
在gensim版本4.0中,不再支持`lemmatize`参数。如果你需要进行词形还原,可以使用例如`pattern`等库来实现。你可以将词形还原作为分词函数的一部分,并将其作为`tokenizer_func`参数传递给`WikiCorpus`的初始化函数。
具体来说,你需要先安装`pattern`库,然后在`WikiCorpus`初始化函数中使用自定义函数来进行分词和词形还原。例如:
```python
from gensim.corpora import WikiCorpus
from pattern.en import lemma
def tokenize(text):
return [lemma(token) for token in text.split()]
wiki = WikiCorpus(infile, tokenizer_func=tokenize, dictionary={})
```
这样就可以将`lemmatize`参数替换成自定义的`tokenizer_func`参数,实现词形还原功能。
阅读全文