如何训练反向嵌入，如 vec2word？答案

【问题标题】：How to train a reverse embedding, like vec2word?如何训练反向嵌入，如 vec2word？
【发布时间】：2017-09-16 20:15:48
【问题描述】：

如何训练神经网络从向量表示映射到一个热向量？我感兴趣的例子是向量表示是word2vec嵌入的输出，我想映射到用于训练嵌入的语言中的各个单词，所以我猜这是vec2word?

更详细一点；如果我理解正确，嵌入空间中的一组点代表相似的词。因此，如果您从该集群中的点进行采样，并将其用作vec2word 的输入，那么输出应该是到相似单词的映射？

我想我可以做一些类似于编码器-解码器的事情，但它必须那么复杂/使用这么多参数吗？

有这个TensorFlow tutorial，如何训练word2vec，但是我找不到任何帮助来做相反的事情？我很高兴使用任何深度学习库来做这件事，并且可以使用采样/概率来做。

非常感谢您的帮助，阿杰。

【问题讨论】：

您对语言建模感兴趣，对吗？ TensorFlow RNN tutorial 中的示例有帮助吗？
嗨@AllenLavoie，感谢您的指点。不，TF 示例并没有太大帮助 - 也许您想在这个问题上更新它们？不过有人帮了我。实际上很简单，您只需获取嵌入权重的矩阵向量乘积和query 向量，然后对从该乘积中得到的向量进行排名-我没有解释得很好，但请看这里-@987654323 @。谢谢，阿杰

【解决方案1】：

您可以做的最简单的事情是使用最近邻词。给定一个未知词fq的查询特征和一个已知词R={fr}的参考特征集，那么你可以找出与fq最近的fr*是什么，并使用对应的fr*词作为fq 的话。

【讨论】：