在 PyTorch 中使用预训练嵌入时处理 OOV 单词的最佳方法

Question

我在 PyTorch 中使用 word2vec 预训练嵌入（遵循代码 here）。但是，它似乎无法处理看不见的单词。有什么好办法解决吗？

Answer 1

FastText 构建字符 ngram 向量作为模型训练的一部分。当它找到一个 OOV 单词时，它会将单词中的字符 ngram 向量求和以生成该单词的向量。您可以找到更多详细信息here。