spacy 的自定义规范化

Question

我正在使用en_core_web_sm，并且正在尝试将其调整到我的语料库中。 我已经调整了标记器，现在它会根据需要生成标记。

对于我们的语料库，单独处理end of line 令牌很重要。为此，我想为这个令牌做一些事情：

• 通过在 token.norm_ 中将 /n 替换为 [EOL] 之类的东西来覆盖规范化形式
• 将词性保留为SPACE，以便将来正确解析

我看到有一个norm_exceptions.py 文件，其中包含规范化的所有例外。但我不知道如何强制我的Language 对象使用修改后的配置进行规范化。

如何使用自定义 norm_exceptions？

Answer 1

回答我自己的问题。 我最终编写了一个自定义标记器，以确保所有 /n 字符都是单独的标记。空格也是一样。

由于矢量化算法不清楚并且将其视为黑匣子，因此我们最终编写了自己的矢量化。我们没有使用 spacy 原生向量。