word2vec 如何正确预测单词但实际数据集不包含它？

Question

我试图了解 word2vec 如何在给定单词列表的情况下预测单词。 具体来说，我使用以下参数在 50 万条推文的推文数据上训练了我的 skip-gram 模型：

model = gensim.models.Word2Vec(data, window=5, workers=7, sg=1, min_count=10, size=200)

给定 discrimination 和 uberx 这两个词，我得到以下输出：

model.wv.most_similar(positive=[PorterStemmer().stem(WordNetLemmatizer().lemmatize("discrimination", pos='v')), WordNetLemmatizer().lemmatize("uberx", pos='v')], topn=30)
[('discret', 0.7425585985183716),
 ('fold_wheelchair', 0.7286415696144104),
 ('illeg_deni', 0.7280288338661194),
 ('tradit_cab', 0.7262350916862488),
 ('mobil_aid', 0.7252357602119446),
 ('accommod_disabl', 0.724936842918396),
 ('uberwav', 0.720955491065979),
 ('discrimin_disabl', 0.7206833958625793),
 ('deni_access', 0.7202375531196594),...]

但是，当我搜索我转储到硬盘驱动器上的数据集 data 时，在输出列表中搜索“discrimination”、“uberx”和任何其他词时，我从未找到数据点的单个实例其中包含所有 3 个单词。所以我的问题是，如果模型从未在一条推文中同时看到这 3 个词，那么模型如何知道，例如，“accommodation disabled”这个词是上下文“discrimination”和“uberx”的正确词？

Answer 1

skip-gram 模型的工作原理类似于填空问题。比如有两个推特数据：

1)

现在是夏天。今天是___。

现在是______。今天很热。

2)

现在是冬天。今天是____。

现在是______。今天很冷。

通过训练模型来预测空白，模型了解到这两个词（寒冷和冬天）或（炎热和夏天）的表示应该更接近。

同时，它还了解到“寒冷”和“夏天”之间的距离应该增加，因为当上下文包含“寒冷”时，空白更可能是“冬天”，这反过来又抑制了成为“夏天”的可能性。

因此，即使没有包含“cold”和“summer”的数据，模型仍然可以学习这两个词之间的关系。

这是我对skip-gram的拙见。欢迎大家讨论：）