使用词向量的文档分类答案

【问题标题】：Document classification using word vectors使用词向量的文档分类
【发布时间】：2018-10-17 21:59:15
【问题描述】：

当我对用自然语言编写的文档进行分类和聚类时，我想到了一个问题......

由于word2vec和glove等对分布式空间中的单词进行向量化，不知道有没有推荐或常用的文档向量化方法使用词向量。

例如，

Document1：“如果你追逐两只兔子，你会同时失去它们。”

可以向量化为，

[0.1425, 0.2718, 0.8187, .... , 0.1011]

我知道一个也称为 doc2vec 的文档，这个文档有 n 个维度，就像 word2vec 一样。但这是 1 x n 尺寸，我一直在测试以找出使用 doc2vec 的限制。

所以，我想知道其他人如何将词向量应用于具有稳定大小的应用程序。

只需将带有 m 个单词的向量堆叠起来，就可以形成 m x n 维向量。在这种情况下，向量维度将不统一，因为维度 m 将取决于文档中的单词数。

如果：[0.1018, ... , 0.8717]

你：[0.5182, ... , 0.8981]

..：[...]

第 m 个单词：[...]

而且这种形式不利于运行一些机器学习算法，例如 CNN。使用词向量生成稳定形式的文档向量的建议方法是什么？

如果能附上论文就好了。

谢谢！

【问题讨论】：

标签： machine-learning nlp vectorization word2vec doc2vec

【解决方案1】：

从文本中获取固定大小向量的最简单方法是，当您只有词向量时，将所有词向量平均在一起。（向量可以被加权，但如果它们没有被单位长度归一化，那么它们来自训练的原始大小在某种程度上是它们单一含义强度的指标 - 多义/歧义单词往往具有较小幅度的向量。）它适用于许多目的。

如果训练文本已经与已知类相关联，则可以专门训练词向量以更好地进行这样的组合。 Facebook 的“分类”模式下的 FastText 就是这样做的；词向量被优化为预测它们出现的文本的输出类，就像它们预测它们的上下文窗口邻居（经典的 word2vec）一样。

“段落向量”技术，通常称为“doc2vec”，为每个训练文本提供一种浮动伪词，有助于每个预测，因此最终得到一个类似于词向量的位置，可以代表完整的文本，而不是单个单词/上下文。

还有许多进一步的变体，包括一些基于更深层次的预测网络（例如“Skip-thought Vectors”），或略有不同的预测目标（例如“fastSent”中的相邻句子），或其他甚至可以包含混合的泛化训练期间的符号和数字输入/目标（Facebook StarSpace 中的一个选项，它探索与词向量和类似 FastText 的分类需求相关的其他实体向量化可能性）。

如果您不需要将文本折叠为固定大小的向量，而只是比较文本，那么还有诸如“Word Mover's Distance”之类的技术，它将“词向量袋”用于一个文本，另一个，并给出相似度得分。

【讨论】：

感谢您对自然语言向量化的完整解释。但是你回答的并没有回答我问题的根本问题。我确信像“doc2vec”或“词向量总和的平均值”之类的方法甚至其他方法都非常有用，就像你提到的那样。但它将文档压缩为 1 x n 尺寸。对于我的情况，我认为我需要查找带有单词和字符级别向量的文档作为机器学习算法的输入。我想知道是否有任何常见的方法来解决这个问题；例如，
例如，单词向量的堆栈可以表示单词所属的文档。唯一的问题是这种方法的大小是文档向量的维度将取决于单词的数量。 .....你现在明白我想知道什么了吗？还是需要进一步解释？
如果你想比较不同字长的文档，往往需要在某个地方将它们强制为相同长度的表示。在“Skip-thought”示例中，深度卷积循环网络采用可变长度输入 - 每个单词单独 - 但随后将其“编码”为固定长度 (1 x n) 向量。如果您从“Word Mover 的距离”方法中备份，它会使用 (V xn) (n=word-vector-dim) 的添加数据基于 (1 x V) 向量 (V=vocab size) 计算其距离词向量。但是，是的，事实上“压缩”到普通大小的表示是典型的。
非常感谢。那是我认为的解决方案，您实际上提到了...谢谢