【问题标题】:Cosine similarity and PageRank余弦相似度和 PageRank
【发布时间】:2018-06-30 19:58:55
【问题描述】:
假设我有一个使用余弦相似度检索页面的搜索引擎。
但是,没有 idf 部分,只有 tf.
如果我为余弦公式添加页面排名。
公式可能会从一个语料库更改为另一个语料库?
例子-
Corpus A - Doc A, Doc B ---> A 和 B 之间有一条线。
Corpus A - Doc B ---> A 和 B 之间有一条线。
B页的分数会因语料而不同?
谢谢。
【问题讨论】:
标签:
information-retrieval
cosine-similarity
pagerank
trigonometry
【解决方案1】:
您的问题并不完全清楚。但让我试着解决你的担忧。
当您说余弦相似度计算中仅使用 tf 而不是 tf-idf 时,我猜您是通过构成术语的频率呈现网页。然后你说如果你把每个网页的PageRank值加上基于余弦相似度计算的相似度分数,公式是否会改变?我认为在这里你有一点歧义。公式永远不会改变,但是是的,组合分数可能因语料库而异。另外,您提供的示例不清楚。
那么,这就是你可能想知道的事情:
如果您计算不同语料库的余弦相似度或 PageRank,则分数可能会因语料库分布而异。 PageRank 是在被视为整个网络的网页集合上计算的,因此如果您考虑两个不同的语料库,那么网页的 PageRank 得分可能会有所不同!