构建skip-gram输入向量

Question

我正在按照教程here 来实现word2vec，但我不确定我是否理解skip-gram 输入向量是如何构造的。

这是我感到困惑的部分。我以为我们没有在 word2vec 中进行一次性编码。

例如，如果我们有两个句子“狗喜欢猫”、“猫喜欢狗”，或者一些信息量更大的句子，输入向量会是什么样子？谢谢。

Answer 1

Skip-gram 试图做的本质上是训练一个模型，在给定中心词的情况下预测其上下文词。

以'dogs like cats'为例，假设窗口大小为3，这意味着我们将使用中心词（“like”）来预测“like”之前的一个词和“like”之后的一个词（正确答案这里是“狗”和“猫”）。 因此，这句话的输入向量将是一个热向量，其中第 k 个元素为 1（假设“like”是字典中的第 k 个单词）。