如何使用 word2vec 区分句子和反义词

Question

假设我有两个句子，它们是相似的，只是只有一个不同的词具有相反的含义。例如"I like her" 与 "I hate her"。 word2vec 用于我的分类项目。据我所知，word2vec 似乎无法弄清楚反义词之间的区别。有没有办法解决这个问题？

Answer 1

不幸的是，我们认为的“反义词”在 word2vec 坐标空间中通常非常相似。那是因为这些词在几乎所有方面都非常相似——除了他们强调的一个对比。

此外，就这些对比可能被 word2vec 方向捕获的程度而言，它们将在许多不同的方向上。 “热”-vs-“冷”对比将不同于“亮”-vs-“暗”和“小”-vs-“大”。

可能有一些关于词向量集的分析技术有助于发现反义词方向/对，但我没有注意到有人讨论过，尤其是没有任何简单/直观或适用于一般词向量集的东西。 （一旦你确实知道单词是对立的，例如在查阅先前标记的词典或类比问题时，那么他们的单词向量之间的方向可能在其他分析中很有用，比如发现其他相同的单词 -方式，就像解决类比问题一样。）

您能否更具体地说明您的最终目标，并提供更多示例，说明您将拥有的输入类型以及您希望软件报告哪些具体结果？

你给出的一个例子，"I like her" 与 "I hate her"，可以更普遍地被视为一种情感分类，而 word2vec 驱动的分类器可以在这样的情况下做得很好（尽管远非完美）挑战。也就是说，如果有足够的标记训练数据，具有大量“正面”和“负面”文本示例的分类器将倾向于学习“喜欢”（和类似的词）是正面的，而“讨厌”（和类似的）是负面的, 并且在正面/负面陈述的其他变体上做得很好（除了更复杂的结构，如否定、微妙的限定、轻描淡写、反讽等）

因此，有关您希望检测/报告的具体内容以及您尝试并发现不足的内容的更多信息，可能会产生更多关于如何实现它的想法。