如何调整 OOV 字的 FastText 参数？

Question

我已经听说 FastText 正在使用它的 n-gram 生成 OOV 词向量。它已经自动内置在 FastText 架构中，或者我们想要调整特定参数？就像 Keras 标记器中的 oov_tokens 一样。我已经在寻找要在 Fast Text 中调优的参数，但我找不到任何参数。

如果有人知道并愿意分享他们的知识，我将非常感激。

谢谢。

Answer 1

OOV 词的向量生成已集成到 fastText 中（至少在 Facebook 的原始实现中）。

为了生成这些向量，fastText 使用子词 n-gram。要了解更多信息，您可以阅读this thread 和this visual guide。

因此，对 OOV 词向量创建影响最大的参数如下：

• minn (char ngram 的最小长度)
• maxn (char ngram 的最大长度)

有关 fastText 选项/参数的更多信息，请参阅the official documentation。