一、mAP(MeanAveragePrecision)

1.对于某类别C,在一张图片上

        mAP,召回率(Recall),精确率(Precision)

 即P=一张图片上类别C识别正确的个数 / 这张图片上类别C的总个数

2.对于类别C,在多张图片上

        mAP,召回率(Recall),精确率(Precision)

 即AP=每张图片上的Precision求和  /  含有类别C的图片数目

3.对于整个数据集而言,存在多个类别C1、C2、C3...

    mAP,召回率(Recall),精确率(Precision)

即mAP=所有类别的AP求和  /  总的类别数目

二、ROC曲线,P-R曲线



mAP,召回率(Recall),精确率(Precision)

召回率Recall=TP/(TP+FN)

精确率Precision=TP/(TP+FP)

真正率TPR = TP/(TP+FN)   即Recall

假正率FPR = FP/(FP+TN)

真负率TNR = TN/(TN+FP)

假负率FNR = FN/(FN+TP)

两者的抽样方式不同:

召回率的抽样是每次取同一标签中的一个样本,如果预测正确计一分;

精确率的抽样是每次取已预测为同一类别的一个样本,如果预测正确计一分

1.ROC曲线

ROC显示的是分类器的TPR和FPR之间的关系,如下图所示

mAP,召回率(Recall),精确率(Precision)

A点(0,1)即FPR=0,TPR=1,FN=0,FP=0,将所有的样本都正确分类。

B点(1,0)即TPR=0,FPR=1,TP=0,TN=0,成功地避开了所有的正确答案。

C点(1,1)即TPR=1,FPR=1,FN=0,TN=0,将所有的样本预测为正样本。

D点(0,0)即TPR=0,FPR=0,TP=0,FP=0,将所有的样本预测为负样本。

ROC曲线越接近左上角,该分类器的性能越好。


AUC被定义为ROC曲线下的面积。其含义可以解释为:

0.8的AUC表明,对于给定的一个正样本和负样本,在80%的情况下,模型对正样本的打分高于对负样本的打分。

2.P-R曲线

P-R曲线表现的是Precision和Recall之间的关系,如图所示:

mAP,召回率(Recall),精确率(Precision)


如果一个学习器的P-R曲线被另一个学习器的P-R曲线完全包住,则可断言后者的性能优于前者,例如上面的A和B优于学习器C,但是A和B的性能无法直接判断,但我们往往仍希望把学习器A和学习器B进行一个比较,我们可以根据曲线下方的面积大小来进行比较,但更常用的是平衡点或者是F1值。平衡点(BEP)是查准率=查全率时的取值,如果这个值较大,则说明学习器的性能较好。而F1 = 2 * P * R /( P + R ),同样,F1值越大,我们可以认为该学习器的性能较好。













相关文章: