tsne 和 word2vec 有什么关系？

Question

据我所知，tsne 正在减少词向量的维数。

Word2vec是生成海量数据的词嵌入模型。

两者是什么关系？

Word2vec 在里面使用tsne 吗？

（我使用来自Gensim的Word2vec）

Answer 1

在内部，它们都使用 梯度下降 来达到最终的优化状态。两者都可以被认为是降维操作。但是，word2vec 内部并不使用 t-SNE（反之亦然）。

t-SNE（“t 分布随机邻域嵌入”）通常将多维数据缩减为 2 维或 3 维，以便绘制可视化图。它涉及学习从原始维度到较少维度的映射，这仍然使相似的点彼此靠近。

word2vec 采用许多文本示例并学习一个擅长从附近单词中预测单词的浅层神经网络。该神经网络权重的特定层，代表单个单词，然后成为学习的 N 维单词向量，N 的值通常为 100 到 600。

（有另一种创建词向量的方法，称为 GLoVE，它的工作原理有点像 t-SNE，因为它直接从词的高维共现矩阵训练，而不是而不是来自许多上下文共现的例子。但它仍然不是 t-SNE 本身。）

您可能会以 100-400 的目标维度运行 t-SNE。但由于该最终结果还不会产生漂亮的情节，因此维持对 t-SNE 至关重要的“接近性”将无法实现其通常的预期收益。

您可能会学习仅 2 或 3 维的 word2vec（或 GLoVE）向量，但人们从词向量中寻找的大多数有用的相似性/排列方式将在拥挤中丢失。在情节中，您可能不会看到相关词类别的强烈视觉“聚集”，因为没有应用 t-SNE 的特定高到低维接近度保留目标。