tf-idf：使用它是否有助于权衡共享条款的文档高于不共享条款的文档？答案

【问题标题】：tf-idf: Does using it help to weigh documents that share the terms higher than a document that doesnt?tf-idf：使用它是否有助于权衡共享条款的文档高于不共享条款的文档？
【发布时间】：2011-04-20 22:35:33
【问题描述】：

我正在为网站开发自定义搜索功能。我很好奇如果仅使用 tf-idf 对我的语料库中的文档进行排名也有助于权衡具有多个搜索词的文档比仅具有一个搜索词的文档更高。

示例：搜索 =“波兰泉水” 从理论上讲，如果文档包含 100 次“波兰”和 0 次“水”，则上述查询是否会更重（使用传统的 tf-idf）文档。或者如果文件包含 10 倍的“波兰”和 10 倍的“水”，它是否会更重。

我知道这完全取决于“波兰”和“水”的 tf-idf 值，但理论上是在公平的竞争环境中，如果有多个，该算法是否有助于将文档更多地放在结果的顶部文档中的术语，还是真的与术语无关？

【问题讨论】：

嘿。我的回答有问题吗？

标签： search tf-idf

【解决方案1】：

它的术语独立。取决于有多少文件包含波兰和多少文件包含水的比例。它那个比例。如果它的一半，则第二个文件获胜。如果比例为 100:1，则第一个文档获胜，因为该比例更类似于文档内单词的分布。

【讨论】：

【解决方案2】：

它是独立于术语的。请记住，tf-idf 加权方案将查询视为一个词袋，每个文档都被视为一个向量。对于上面的例子，考虑波兰的 tf 是 100，而它的 idf 在 doc x 中是 1。另外，考虑波兰的 tf 是 10，水的 tf 是 2 是 doc y。水的 idf 为 1。

文档 x = 100 的分数文档 y = 12

doc x 虽然只有一个词，但排名更高。

【讨论】：