我目前正在开发一个小型网络搜索引擎，但我不确定如何评估它。我了解搜索引擎可以通过其精确度和召回率来评估。在一个更“本地化”的信息检索系统中，例如电子图书馆，我可以计算它们，因为我可以知道哪些东西与我的查询相关。但是在基于网络的信息检索系统中，例如谷歌，不可能计算召回率，因为我不知道有多少网页是相关的。这应该意味着无法进行 F-measure 和其他需要相关页数的测量。
我写的都是正确的吗？网络搜索引擎评估是否仅限于精确度？是否有任何其他衡量标准可以用来评估网络搜索引擎（P@k 除外）？
【问题讨论】：
标签： search search-engine information-retrieval precision-recall
您说得对，准确率和召回率以及 F 分数/F 度量是评估搜索引擎性能中（未排序）检索集的常用指标。
而且，对于整个互联网上的所有网页等海量数据确定召回率和准确率得分的困难或不可能的性质，您也是正确的。对于所有搜索引擎，无论大小，我认为重要的是要考虑人机交互在信息检索中的作用：使用搜索引擎的用户是否更感兴趣的是有一个相关结果的（排名）列表来回答他们的信息需求或者一个“顶级”相关结果是否足以满足用户的信息需求？查看"satisficing" as it pertains to information seeking 的概念，了解有关用户如何评估何时满足其信息需求的更多信息。
您是使用精确度、召回率、平均平均精确度、平均倒数排名，还是使用众多相关性和检索指标中的任何其他指标，这实际上取决于您尝试评估的与搜索引擎结果质量相关的内容.我首先会尝试弄清楚我的小型搜索引擎的用户可能有什么样的“信息需求”：他们会寻找相关文档的选择，还是如果他们有一个对他们的查询需求更有帮助？最好的文件来满足他们的信息需求？如果您可以更好地了解您的用户将如何使用您的小型搜索引擎，那么您可以使用该信息来帮助告知哪些相关性模型将为您的用户提供他们认为对他们的信息搜索需求最有用的结果。
【讨论】：