【发布时间】：2018-09-30 02:55:35
【问题描述】：
在使用 TREC 和“K”池计算相对召回率时，相关文档总数是否反映了每个查询来自所有参与系统的相关文档，还是所有查询？
这种方法是否不会使召回计算无效，比如我在两个系统之间有 50 个顶级文档，但总共有 75 个相关文档，那么无论两个系统有多好，它们都永远无法达到 100% 召回？
【问题讨论】：
标签： elasticsearch information-retrieval precision-recall
【发布时间】：2018-09-30 02:55:35
【问题描述】：
在使用 TREC 和“K”池计算相对召回率时，相关文档总数是否反映了每个查询来自所有参与系统的相关文档，还是所有查询？
相关文档集包括被人类访问者判断为相关的文档，人类访问者被要求查看每个参与系统检索到的前 100 个文档的并集。注意union这个词上的重音，这表明访问器没有以任何特定的顺序显示在这个集合中。所以，这个池确实是一个集合（而不是有序集合）。
每个查询的相关文档集都不同。所以你可以想象如果 R 代表相关的文档集，它有一个参数 q（查询）。所以，实际上你有 R(q) 而不仅仅是 R。
这种方法是否不会使召回计算无效，假设我在两个系统之间有 50 个顶级文档，但总共有 75 个相关文档，那么无论两个系统有多好，它们都永远无法达到 100% 召回？
原则上，如果他们每人检索至少 75 个文档，则可以实现 100% 的召回率。显然，如果允许您检索 10 个文档并且总共有 20 个相关文档，那么最多。你能达到的回忆只有50%。
【讨论】：