Spacy - 代词的词形还原会产生一些错误的输出答案

【问题标题】：Spacy - lemmatization on pronouns gives some erronous outputSpacy - 代词的词形还原会产生一些错误的输出
【发布时间】：2023-03-28 06:12:01
【问题描述】：

通过[token.lemma_ for token in doc] 对代词进行词形还原将代词词形化为-PRON-，这是一个错误吗？

【问题讨论】：

【解决方案1】：

不，这实际上是预期的行为。参见文档here：

与动词和普通名词不同，人称代词没有明确的基本形式。 “我”的引理应该是“我”，还是我们也应该规范化人，给“它”——或者也许是“他”？ spaCy 的解决方案是引入一个新颖的符号-PRON-，它被用作所有人称代词的引理。

值得注意的是，随着 spaCy 朝着更好地兼容 Universal Dependencies 格式的方向发展，这种约定可能会在未来发生变化。

【讨论】：

我很好奇你所说的“没有明确的人称代词基本形式”是什么意思。对我来说，将“me”更改为“I”感觉相当直观，就像“whom”更改为“who”，或者德语中的“dich”更改为“du”，西班牙语中的“ti”更改为“tú”等等。即，从语法上派生自任何印欧语言中的主格形式的形式。说“我”是“我们”的引理似乎……非常非常奇怪。 “我们也应该规范化人吗？”：如果我们不对名词和形容词进行规范化（因为它们没有），我们为什么要对代词进行规范化？

【解决方案2】：

以下代码可以帮助您从小写的词形还原文本中消除-PRON-。

[token.lemma_.lower() if token.lemma_ != '-PRON-' else token.lower_ for token in doc]

【讨论】：