文本内容相关性检查

Question

我需要检查特定网页上内容的相关性。我有成千上万 网页来检查这一点。检查页面标题是否与页面上的内容相关的最佳方法是什么。

Answer 1

你的问题有点含糊，当你说：

检查页面标题是否与 页面上的内容。

如何根据您的问题定义相关性？

我不知道这是否是您想要的，但我想到了几件事，本质上是比较两个文档的相似程度，一个文档是标题，另一个文档是描述。

您可以考虑为两者生成矢量表示并比较它们的相似程度的方法。

1. 使用标记作为两个集合（即文档）的元素的 Jaccard 相似度
2. TF-IDF 加权向量并将它们与余弦相似度进行比较
3. 计算每个文档的分布主题模型/LDA，并使用 Kullback-Leibler 散度进行比较
4. 将文档编码为某种密集向量（doc2vec，或通过 LSTM 读取并保持最后状态），然后比较两个向量。

唯一的考虑是标题的大小与网页内容相比非常小。