词向量本身是否意味着任何东西？答案

【问题标题】：Do word vectors mean anything on their own?词向量本身是否意味着任何东西？
【发布时间】：2017-10-23 20:57:13
【问题描述】：

据我了解，词向量仅用于与其他词向量的关系。例如，“king”的词向量减去“boy”的词向量应该得到一个接近“queen”的向量。

给定一个未知单词的向量，是否可以仅根据该向量的值对单词做出假设？

【问题讨论】：

不，word2vec 值没有任何意义。
@lejlot，当然有意义。您要做的是对单词的含义进行编码，因此如果您了解维度是什么，那么您可以收集到单词him 比女性更男性化。但如果你的算法不编码阳刚之气，那么him 和her 之间可能没有区别。
@ACVM 该评论与 word2vec 相关，如 Mikolov 所述。这些嵌入值没有（可解释的！）含义，因为损失纯粹是在词对的点积上定义的。因此它是旋转不变的，对于任何嵌入 E，如果您将其旋转任意角度 - 损失是相同的，因此除非您将其明确添加到目标中，否则“一般”不会有任何轴对齐的含义。因此，除非分析整个嵌入 - 不能基于这些值进行任何推理。

标签： machine-learning data-science word2vec text-analysis word-embedding

【解决方案1】：

单个坐标（例如 300 维向量的第 7 维等）没有易于解释的含义。

主要是相对于其他词（邻域）的距离，以及相对于其他词群的相对方向（不考虑垂直坐标轴的方向，即可能难以解释，因为它们与自然语言或自然思维语义相关。

此外，模型的预训练初始化以及大部分训练本身都使用随机化。因此，即使在完全相同的数据上，单词也可能在重复训练运行时出现在不同的坐标中。

每次运行后生成的词向量在距离和方向方面应该相互之间一样有用，但邻域如“描述季节的词”或“事物” hot'" 在随后的运行中可能会出现在非常不同的位置。只有一起训练的向量才有可比性。

（word2vec 有一些受约束的变体，它们试图强制某些维度或方向对某些目的更有用，例如回答问题或检测上位词/下位词关系——但这需要对训练过程进行额外的约束或输入。普通的 word2vec 不会被清晰地解释。）

【讨论】：

【解决方案2】：

您不能根据单词向量的值对单词做出假设。单个词向量本身不携带信息或含义，而仅包含与其他词向量相关的含义。

使用 Word2Vec 和 GloVe 等算法计算词向量，并依赖于词在序列中的共现。例如，Word2Vec 使用两个向量的点积作为 softmax 函数的输入，该函数近似于这两个词出现在同一序列中的条件概率。然后确定词向量，以便将同一上下文中频繁出现的词映射到相似向量。词向量从而捕获句法和语义信息。

【讨论】：