Word2vec：将外部单词添加到每个上下文

Question

我正在寻找一个简单的“hack”来实现以下想法：我希望在每个单词的上下文中人为地出现一个特定的单词（基本目标是尝试使用 word2vec 进行有监督的句子分类）。

最好举个例子：

假设我有句子："The dog is in the garden"，窗口为 1。

所以我们会得到以下的（目标，上下文）：

(dog, The), (dog, is), (is, dog), (is, in), etc.

但我想为 word2vec 算法提供的信息是：

(dog, The), (dog, is), **(dog, W)**, (is, dog), (is, in), **(is, W)**, etc.,

好像我的单词 W 是在每个单词的上下文中一样。

其中 W 是我选择的词，不在现有词汇表中。

在 R 或 python 中有一种简单的方法吗？

Answer 1

我想你有句子列表和每个句子的标签列表：

sentences = [
    ["The", "dog", "is", "in", "the", "garden"],
    ["The", "dog", "is", "not", "in", "the", "garden"],
]

然后你创建了单词-上下文对：

word_context = [("dog", "The"), ("dog", "is"), ("is", "dog"), ("is", "in") ...]

现在，如果每个句子都有一个标签，您可以将标签添加到所有单词的上下文中：

labels = [
    "W1",
    "W2",
]

word_labels = [
    (word, label)
    for sent, label in zip(sentences, labels)
    for word in sent
]

word_context += word_labels

除非你想保持单词-上下文对的顺序！

Answer 2

看看“段落向量”算法——在 Python gensim 中实现为 Doc2Vec 类。在其中，每个文本示例都会获得一个额外的伪词，该伪词基本上会浮动在整个示例之上，为每个类似 skip-gram（在段落向量中称为 PV-DBOW）或类似 CBOW（在段落向量中称为 PV-DM）训练做出贡献-语境。

还可以查看 Facebook 的“FastText”论文和图书馆。它本质上是 word2vec 在两个不同方向上的扩展：

首先，它可以选择学习子词片段（字符 n-gram）的向量，以便未来的未知词可以从其子词中获得粗略的猜测向量。

其次，它可以选择在向量训练期间不仅尝试预测附近的单词，还可以预测包含文本示例（句子）的已知分类标签。因此，学习到的词向量可能更好地用于其他未来句子的后续分类。