Spacy token.lemma_ 不识别名词和代词

Question

我一直在关注 Lemmatization 的教程 -> https://www.machinelearningplus.com/nlp/lemmatization-examples-python/

如 spacy lemmatization 部分所述，我加载了 'en-core-web-sm' 模型，从给定句子中解析并提取每个单词的词元。

我的代码如下

nlp = spacy.load('en_core_web_sm', disable=['parser', 'ner'])

sentence = "The striped bats are hanging on their feet for best"

doc = nlp(sentence)

lemmatized_spacy_output = " ".join([token.lemma_ for token in doc])
print(lemmatized_spacy_output)

输入

"The striped bats are hanging on their feet for best"

它给出的输出为

the stripe bat be hang on their foot for good

而预期的输出是

the strip bat be hang on -PRON- foot for good'

可以看出，stripes 词应该被识别为动词，但由于某种原因它被归类为名词（因为输出是条带，而不是条带）。 此外，它不是识别人称代词，而是按原样给出标记。

我已经尝试了很多 github 和 stackoverflow 问题，但没有一个针对我的查询。

Answer 1

就像 aab 在他的评论中所说的那样。您使用的是哪个版本？我使用 spacy 的第 3 版并调用

nlp = spacy.load('en_core_web_sm', disable=['parser', 'ner'])
sentence = "The striped bats are hanging on their feet for best"
doc = nlp(sentence)

for token in doc:
    print(token.text, " -- ", token.pos_, " -- ",token.lemma_)

返回

The  --  DET  --  the
striped  --  VERB  --  stripe
bats  --  NOUN  --  bat
are  --  VERB  --  be
hanging  --  VERB  --  hang
on  --  ADP  --  on
their  --  PRON  --  their
feet  --  NOUN  --  foot
for  --  ADP  --  for
best  --  ADJ  --  good

这意味着striped 被识别为动词