当检索到的文档少于 k 个时，精度为 k

Question

在信息检索评估中，如果检索到的文档少于 k 个，precision@k 是多少？假设只检索了 5 个文档，其中 3 个是相关的。精度@10 是 3/10 还是 3/5？

Answer 1

很难找到定义此类度量边缘情况的文本，而且数学公式通常无法处理数据的不完整性。对于此类问题，我倾向于求助于 trec_eval 做出的决定，这是 NIST 分发的一个工具，它实现了所有常见的检索措施，尤其是文本检索会议中的挑战（TREC 挑战）使用的那些。

根据trec_eval 9.0 的m_P.c 中的指标描述（在此页面上称为最新）：

Precision measured at various doc level cutoffs in the ranking.
If the cutoff is larger than the number of docs retrieved, then
it is assumed nonrelevant docs fill in the rest.  Eg, if a method
retrieves 15 docs of which 4 are relevant, then P20 is 0.2 (4/20).
Precision is a very nice user oriented measure, and a good comparison
number for a single topic, but it does not average well. For example,
P20 has very different expected characteristics if there 300
total relevant docs for a topic as opposed to 10.

这意味着即使检索到的 k 少于 k，您也应该始终除以，因此在您的特定情况下，精度将是 0.3 而不是 0.6。 （惩罚系统检索少于k）。

另一个棘手的情况是相关文档少于k。这就是为什么他们指出精度是一种有用的衡量标准，但不能很好地平均。

对这些问题更稳健的一些措施是：归一化折现累积增益 (NDCG)，它将排名与理想排名（在截止时）和（更简单的）R-Precision：计算相关数量的精度文件，而不是固定的k。这样一个查询可能会为 R=15 计算 P@15，而另一个可能会为 R=200 计算 P@200。