SPACY - 关于词向量和 tok2vec 的混淆

Question

如果你能帮助我理解一些关于 Spacy 的基本概念，那对我真的很有帮助。

我知道一些 spacy 模型有一些预定义的静态向量，例如，对于西班牙模型，这些是由 FastText 生成的向量。 我也知道有一个 tok2vec 层可以从标记生成向量，例如用作模型的 NER 组件的输入。

如果以上是正确的，那么我有一些问题：

• NER 组件是否也使用静态向量？
  • 如果是，那么 tok2vec 层在哪里发挥作用？
  • 如果不是，那么如果您只打算将模型用于例如NER 组件？
• tok2vec 层是否已经针对预训练的下载模型进行了训练，例如西班牙语？
• 如果我替换预训练模型的 NER 组件，它是否会保持 tok2vec 层不变，即使用学习的权重？
• 我训练 NER 模型时是否也训练了 tok2vec 层？
• pretrain 命令是否会帮助 tok2vec 层学习一些可能是 OOV 的特定领域的单词？

非常感谢！

Answer 1

NER 组件是否也使用静态向量？

这在我的回答 here 的第 2 点和第 3 点中得到解决。

tok2vec 层是否已经针对预训练的下载模型进行了训练，例如西班牙语？

是的，整个模型都经过训练，tok2vec 层是其中的一部分。

如果我替换预训练模型的 NER 组件，它是否会保持 tok2vec 层不变，即使用学习的权重？

不，不在当前的 spaCy v2 中。 tok2vec 层是模型的一部分，如果移除模型，也会移除 tok2vec 层。在即将发布的 v3 中，您将能够将它们分开，这样您实际上就可以单独保留 tok2vec 模型，并在组件之间共享它。

我训练 NER 模型时是否也训练了 tok2vec 层？

是的 - 见上文

pretrain 命令会帮助 tok2vec 层学习一些可能是 OOV 的特定领域的单词吗？

另请参阅https://stackoverflow.com/a/63520262/7961860我的回答

如果您还有其他问题 - 很高兴在 cmets 中讨论！