可以使用 gensim Doc2Vec 将新文档与训练模型进行比较吗？

Question

我有一组文档，它们都符合预定义的类别，并且已经成功地从这些文档中训练了一个模型。

问题是，如果我有一个新文档，我如何计算这个新文档与我的训练模型的吻合程度？

我目前的解决方案：

novel_vector = model.infer_vector(novel_doc_words, steps = 20)
similarity_scores = model.docvecs.most_similar([novel_vector])
average = 0
for score in similarity_scores:
  average += score[1]
overall_similarity = average/len(similarity_scores)

我在文档中找不到任何方便的方法

Answer 1

对于整个模型，没有内置方法可以检查这种“符合”值。

一种更典型的方法是匹配现有功能，即在各种文档上训练模型，而不仅仅是特定类别的文档。然后，在推断出一个新文档的向量后，计算它与感兴趣类别的文档的平均距离。

如果您只在某个自相似类别的文档上训练模型，则学习的坐标空间将无法反映该类别之外的全部可能文档。 p>

也就是说，如果您当前的代码（检查新文档与前 N 个最近邻居的相似程度）似乎可以为您的目的提供良好的结果，那么它可能是可以接受的。我只是期待一个在更广泛的文档上训练过的模型会得到更好的结果。