Nltk 的 wordnet 词形还原器没有对所有单词进行词形还原

Question

我正在尝试对文本中的单词进行词形还原。比如'pickled'应该变成'pickle'，'ran'变成'run'，'raisins'变成'raisin'等等。

我使用nltk的WordNet Lemmatizer如下：

from nltk.stem import WordNetLemmatizer
>>> 
>>> lem = WordNetLemmatizer()
>>> print(lem.lemmatize("cats"))
cat
>>> print(lem.lemmatize("pickled"))
pickled
>>> print(lem.lemmatize("ran"))
ran

因此，您可以看到 'pickled' 和 'ran' 的输出未按预期进行。如何为这些获取'pickle' 和'run' 而不必为单词指定'v'（动词）等。

Answer 1

您可以通过在传递'v' 或'n' 参数而不传递任何内容中获取函数的最常见结果来获得名词或动词的lemmatize() 函数的基本形式。

不是直接的方法，但您可以尝试以下代码来获取名词或动词的基本形式：

def most_common(lst):
    return max(set(lst), key=lst.count)
words = ['ran','pickled','cats',"crying","died","raisins","had"]
for word in words:
    checkList=[WordNetLemmatizer().lemmatize(word,'v'),WordNetLemmatizer().lemmatize(word,'n'),WordNetLemmatizer().lemmatize(word,'n')]
    print most_common(checkList)

你得到了基本形式：

ran
pickled
cat
cry
died
raisin
had