spaCy：tokenizer_exceptions 的 NORM 部分是什么？

Question

我正在为我的语言添加tokenizer_exceptions。我正在查看'gonna' 的英语示例，因此将规则编写如下：

'т.п.': [
    {ORTH: "т.", NORM: "тому", LEMMA: "тот"},
    {ORTH: "п.", NORM: "подобное", LEMMA: "подобный"}
],

然后当我标记化时，我希望 NORM-parts of rule 将在 token.norm_ 中（尽管没有任何关于 Token.norm_ 的文档）。但相反，我在token.norm_ 中看到了ORTH-part，而在token-instance 中却看不到NORM-part of rule。

那么Token.norm_-member 是什么，NORM-part of tokenizer_exceptions-rule 的作用是什么？

Answer 1

更笼统地回答这个问题：在 spaCy v1.x 中，NORM 主要用于提供标记的“规范化”形式，例如，如果标记文本“不完整”（如在gonna 示例中），或替代拼写。 v1.x 中规范的主要目的是使其可作为.norm_ 属性访问以供将来参考。

但是，在 v2.x 中，currently in alpha，NORM 属性变得更加相关，因为它也被用作模型中的一个特征。这使您可以将具有不同拼写的单词标准化为一种常见的拼写，并确保这些单词接收到相似的表示——即使其中一个单词在您的训练数据中出现的频率较低。这方面的例子是英语中的美式和英式拼写，或货币符号，它们都被规范化为$。为了使这更容易，v2.0 引入了一个新的语言数据组件，norm exceptions。

如果您正在开发自己的语言模型，我绝对建议您查看 v2.0 alpha（现在非常接近第一个候选版本）。

Answer 2

您可以绑定nlp.vocab.lex_attr_getters 中的任何函数，它将针对该词汇条目进行计算。每个标记都有一个指向其词汇项的指针，因此它们都将引用这个计算值。

import spacy
from spacy.attrs import NORM

nlp = spacy.blank('ru') # In spacy 1, just spacy.load() here.

doc = nlp(u'a a b c b')

[(w.norm_, w.text) for w in doc]
# (a, a), (a, a), (b, b), (c, c), (b, b)

nlp.vocab.lex_attr_getters[NORM] = lambda string: string.upper()
# This part should be done automatically, but isn't yet.
for lexeme in nlp.vocab:
    lexeme.norm_ = nlp.vocab.lex_attr_getters[NORM](lexeme.orth_)
[(w.norm_, w.text) for w in doc]
# (a, A), (a, A), (b, B), (c, C), (b, B)

您可以将这些词法属性绑定到您想要的任何东西。我不确定该绑定如何用于俄语，但您可以在源代码中更改它，或者在运行时通过重置词法属性函数来更改它。