词性标注 - NLTK 认为名词是动词 [重复]

Question

在下面的代码中，为什么nltk认为'select'是形容词而不是动词？

>>> import nltk
>>> t = nltk.tokenize.word_tokenize("select icon from icon")
>>> nltk.tag.pos_tag(t)
[('select', 'JJ'), ('icon', 'NN'), ('from', 'IN'), ('icon', 'NN')]

Answer 1

我想没有简单的答案，因为 Tagger 是用统计模型训练的（我发现它是用 Penn Treebank here 上的 Back-off Trigram Markov Model 训练的）。

我可以想象“从图标中选择图标”在训练语料库中非常罕见（如果有的话），所以查看第一个单词，除了可能是新句子的开头之外没有更多的上下文信息，它将JJ 指定为最有可能的标签。

如果这对您来说是个大问题，您可以考虑在出现更多此类句子的语料库上训练自己的标注器，或者使用 this 之类的东西来丰富旧句子。