如何连接词向量形成句子向量

【问题标题】：How to concatenate word vectors to form sentence vector如何连接词向量形成句子向量
【发布时间】：2016-08-12 10:08:26
【问题描述】：

我在一些文章（Tomas Mikolov...）中了解到，形成句子向量的更好方法是连接词向量。

但由于我的数学比较笨拙，我仍然不确定细节。

例如，

假设词向量的维数为m；并且一个句子有 n 个单词。

串联操作的正确结果是什么？

它是 1 x m*n 的行向量吗？还是 m x n 的矩阵？

【问题讨论】：

米科洛夫在哪里提到过这个？参考论文等很有用。要回答您的问题，连接只是将向量一个接一个地放置。所以如果你有 3 个 1x100 大小的向量，句子向量将是 1x300。

标签： machine-learning deep-learning nlp word2vec

【解决方案1】：

组合嵌入向量的常用方法至少有三种； (a) 求和，(b) 求和和平均或 (c) 连接。所以在你的情况下，通过连接，这会给你一个1 x m*a 向量，其中a 是句子的数量。在其他情况下，向量长度保持不变。请参阅gensim.models.doc2vec.Doc2Vec、dm_concat 和 dm_mean - 它允许您使用这三个选项中的任何一个 [1,2]。

[1]http://radimrehurek.com/gensim/models/doc2vec.html#gensim.models.doc2vec.LabeledLineSentence

[2]https://github.com/piskvorky/gensim/blob/develop/gensim/models/doc2vec.py

【讨论】：