从 gensim 导入 Lemmatization 的问题答案

【问题标题】：Problem with importing Lemmatization from gensim从 gensim 导入 Lemmatization 的问题
【发布时间】：2021-06-07 02:14:50
【问题描述】：

我正在尝试使用 Gensim 包，如下所示：

import re, numpy as np, pandas as pd
from pprint import pprint

# Gensim
import gensim, spacy, logging, warnings
import gensim.corpora as corpora
from gensim.utils import lemmatize, simple_preprocess
from gensim.models import CoherenceModel
import matplotlib.pyplot as plt

但我不断收到错误：

ImportError: cannot import name 'lemmatize' from 'gensim.utils' (/Users/xxx/opt/anaconda3/envs/virt_env/lib/python3.9/site-packages/gensim/utils.py)

我正在使用 gensim v4.0.1、Python 3.8、numpy 1.20.0。

最近有人遇到过这种问题吗？谢谢

【问题讨论】：

gensim 4.0 版本的gensim.utils 中没有函数lemmatize。 It existed 在 3.8.3 中，但是我对 gensim 了解不多，所以不知道是完全去掉还是移到了代码的不同部分。
来自当前库``` if lemmatize is not None: raise NotImplementedError( '不再支持 lemmatize 参数。' '如果需要词形还原，使用例如 github.com/clips/pattern>。' '执行词形还原作为标记函数的一部分并''传递它```

标签： python numpy gensim lemmatization

【解决方案1】：

Gensim 以前只包装过另一个库 (Pattern) 的词形还原例程——这不是一个特别现代/维护的选项，因此已从 Gensim-4.0 中删除。

用户应选择并应用他们自己的词形还原操作（如果有）作为应用 Gensim 算法之前的预处理步骤。一些提供词形还原的 Python 库包括：

模式（Gensim 之前包含的选项）：https://github.com/clips/pattern
NLTK：https://www.nltk.org/api/nltk.stem.html#nltk.stem.wordnet.WordNetLemmatizer
UDPipe：https://ufal.mff.cuni.cz/udpipe
斯派西：https://spacy.io/api/lemmatizer
节：https://stanfordnlp.github.io/stanza/

【讨论】：

...这很有帮助。谢谢