Traceback (most recent call last): File "D:\pythonFiles\图灵\Python_project\self_learn\大语言模型\WikiExtractor.py", line 45, in <module> parse_corpus(infile, outfile) File "D:\pythonFiles\图灵\Python_project\self_learn\大语言模型\WikiExtractor.py", line 21, in parse_corpus wiki = WikiCorpus(infile, lemmatize=False, dictionary={}) # gensim中的维基百科处理类WikiCorpus File "D:\软件\python\lib\site-packages\gensim\corpora\wikicorpus.py", line 619, in __init__ raise NotImplementedError( NotImplementedError: The lemmatize parameter is no longer supported. If you need to lemmatize, use e.g. <https://github.com/clips/pattern>. Perform lemmatization as part of your tokenization function and pass it as the tokenizer_func parameter to this initializer. 怎么解决
时间: 2023-09-04 17:07:40 浏览: 166
Python程序基础:Python中的异常.pptx
5星 · 资源好评率100%
这个错误是因为在gensim版本4.0中,不再支持`lemmatize`参数,如果你需要进行词形还原,可以使用例如`pattern`等库来实现。你可以将词形还原作为分词函数的一部分,并将其作为`tokenizer_func`参数传递给`WikiCorpus`的初始化函数。你可以参考gensim的官方文档进行修改代码,或者查看一些gensim的新手教程。
阅读全文