使用词嵌入时处理缺失词的最佳方法是什么？

Question

我有一组预训练的 word2vec 词向量和一个语料库。我想用词向量来表示语料库中的词。语料库中有一些我没有训练过的词向量的词。处理那些没有预训练向量的单词的最佳方法是什么？

我听到了一些建议。

1. 对每个缺失的单词使用零向量

2. 为每个缺失的单词使用一个随机数向量（提供一堆关于如何限制这些随机数的建议）

3. 我的一个想法：从所有预训练的向量中获取一个向量，其值是该位置所有值的平均值

任何对此问题有经验的人有想法如何处理这个问题？

Answer 1

Facebook 的 FastText 从子词 n-gram 中组装词向量，使其能够处理词汇表之外的词。在以下位置查看有关此方法的更多信息：Out of Vocab Word Embedding

Answer 2

在预训练的word2vec 嵌入矩阵中，您通常可以使用单词unk 作为索引来查找通常是最佳向量的预设计向量。