如何在 gensim doc2vec 中获取与文档最相似的单词？

Question

我已经建立了一个 gensim Doc2vec 模型。我们称之为 doc2vec。现在我想根据我的 doc2vec 模型找到与给定文档最相关的单词。

例如，我有一个关于“java”的文档，其标签为“doc_about_java”。当我要求类似的文档时，我会得到有关其他编程语言和与 java 相关的主题的文档。所以我的文档模型运行良好。

现在我想找到与“doc_about_java”最相关的词。

我遵循封闭问题How to find most similar terms/words of a document in doc2vec? 的解决方案，它给了我看似随机的词，“java”这个词甚至不在前 100 个相似词中：

docvec = doc2vec.docvecs['doc_about_java']
print doc2vec.most_similar(positive=[docvec], topn=100)

我也试过这样：

print doc2vec.wv.similar_by_vector(doc2vec["doc_about_java"])

但它并没有改变任何东西。如何找到与给定文档最相似的词？

Answer 1

并非所有Doc2Vec 模式都可以训练词向量。特别是 PV-DBOW 模式dm=0，它通常非常适用于 doc-vector 比较，它将词向量留在随机分配（和未使用）的位置。

这可以解释为什么您最初尝试获取相关单词列表的结果似乎是随机的。

要获得词向量，您需要使用 PV-DM 模式 (dm=1)，或者将可选的并发词向量训练添加到 PV-DBOW (dm=0, dbow_words=1)。

（如果这不是问题，那么您的训练设置中可能存在其他问题，因此您应该显示有关您的数据源、大小和代码的更多详细信息。）

（另外，您的替代尝试代码行通过使用doc2vec["doc_about_java"] 正在检索"doc_about_java" 的词向量（可能根本不存在）。要获取文档向量，请使用doc2vec.docvecs["doc_about_java"]，就像在你的第一个代码块中一样。）