【问题标题】:What is the 11pt average precision metric?什么是 11pt 平均精度指标?
【发布时间】:2010-11-19 20:37:33
【问题描述】:

我有两个问题

1- 什么是“11pt 平均精度指标”?

2-以及如何在信息检索中使用它?

谢谢

【问题讨论】:

    标签: artificial-intelligence machine-learning information-retrieval


    【解决方案1】:

    这主要来自 Christopher D. Manning、Prabhakar Raghavan 和 Hinrich Schütze 所著的《Introduction to Information Retrieval》一书。

    在排名检索中,您有准确率和召回率。精度是系统在它返回的文档中的准确程度(1.0 意味着它只返回了相关的文档)。召回率是系统找到的相关文件的百分比(1.0 表示它找到了所有文件)。因此,您可以通过返回越来越多的文档来调整系统的召回率,但需要权衡精度,因为您可能会承认更多的错误。

    插值精度是您选择召回级别 r 并且对于所有召回级别 P(r') >= P(r),其中 P(r) 是排名 r 的精度。这是您可以达到的最佳精度。

    然后在 11 点插值平均精度中,您将查看 11 个召回级别(0.0、0.1、0.2、...、1.0)并找到每个点的插值精度。您可以根据所有不同的查询或信息需求(正如 Manning & Schuetze 书中所说)对这些分数进行平均,以找到您的系统的分数。

    信息检索中的典型用途是用于评估。它可以帮助您将一个系统与另一个系统进行比较,但真正有帮助的是让您在调整参数时比较您的系统是如何变化的。更改此设置会改善还是损坏我的 11-pt interp avg prec?好处是,它可以衡量您收藏中的所有信息需求,因此有助于为您提供“全局”视图。但是,请注意不要过度依赖这些指标,因为它们仅与您使用的评估集一样好。

    【讨论】:

      【解决方案2】:

      这是一本在线书籍,Introduction to Information Retrieval
      并且有参考 11 点插值平均精度使用,evaluation of ranked retrieval results.

      【讨论】:

        猜你喜欢
        • 2015-01-09
        • 1970-01-01
        • 1970-01-01
        • 2018-01-14
        • 2020-09-30
        • 2022-10-20
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多