【发布时间】:2010-11-19 20:37:33
【问题描述】:
我有两个问题
1- 什么是“11pt 平均精度指标”?
2-以及如何在信息检索中使用它?
谢谢
【问题讨论】:
标签: artificial-intelligence machine-learning information-retrieval
我有两个问题
1- 什么是“11pt 平均精度指标”?
2-以及如何在信息检索中使用它?
谢谢
【问题讨论】:
标签: artificial-intelligence machine-learning information-retrieval
这主要来自 Christopher D. Manning、Prabhakar Raghavan 和 Hinrich Schütze 所著的《Introduction to Information Retrieval》一书。
在排名检索中,您有准确率和召回率。精度是系统在它返回的文档中的准确程度(1.0 意味着它只返回了相关的文档)。召回率是系统找到的相关文件的百分比(1.0 表示它找到了所有文件)。因此,您可以通过返回越来越多的文档来调整系统的召回率,但需要权衡精度,因为您可能会承认更多的错误。
插值精度是您选择召回级别 r 并且对于所有召回级别 P(r') >= P(r),其中 P(r) 是排名 r 的精度。这是您可以达到的最佳精度。
然后在 11 点插值平均精度中,您将查看 11 个召回级别(0.0、0.1、0.2、...、1.0)并找到每个点的插值精度。您可以根据所有不同的查询或信息需求(正如 Manning & Schuetze 书中所说)对这些分数进行平均,以找到您的系统的分数。
信息检索中的典型用途是用于评估。它可以帮助您将一个系统与另一个系统进行比较,但真正有帮助的是让您在调整参数时比较您的系统是如何变化的。更改此设置会改善还是损坏我的 11-pt interp avg prec?好处是,它可以衡量您收藏中的所有信息需求,因此有助于为您提供“全局”视图。但是,请注意不要过度依赖这些指标,因为它们仅与您使用的评估集一样好。
【讨论】:
这是一本在线书籍,Introduction to Information Retrieval
并且有参考 11 点插值平均精度使用,evaluation of ranked retrieval results.
【讨论】: