MRR(Mean Reciprocal Rank):

   是一个国际上通用的对搜索算法进行评价的机制,即第一个结果匹配,分数为1,第二个匹配分数为0.5,第n个匹配分数为1/n,如果没有匹配的句子分数为0。最终的分数为所有得分之和。

   把标准答案在被评价系统给出结果中的排序取倒数作为它的准确度,再对所有的问题取平均。相对简单,举个例子:有3个query如下图所示:

IR的评价指标之MRR(黑体为返回结果中最匹配的一项)

  可计算这个系统的MRR值为:(1/3 + 1/2 + 1)/3 = 11/18=0.61。

MRR越大,对应的评价效果越好

 

相关文章:

  • 2021-10-29
  • 2021-10-09
  • 2021-10-11
  • 2021-06-26
  • 2021-05-28
  • 2021-04-23
  • 2021-10-29
猜你喜欢
  • 2021-10-24
  • 2021-10-22
  • 2021-10-25
  • 2021-11-15
  • 2022-12-23
相关资源
相似解决方案