基本概念:
1. TP,FP,TN,FN
-
TP:True Positive,预测为正样本_实际也为正样本的特征数 -
FP:False Positive,预测为正样本_实际为负样本的特征数 -
TN:True Negative,预测为负样本_实际也为负样本的特征数 -
FN:False Negative,预测为负样本_实际为正样本的特征数
2.Accuracy和Error rate
-
Accuracy:正确率是被分对的样本数除以所有的样本数Accuracy = (TP+TN)/(P+N) -
Error rate:错误率描述被分类器错分的比例,也叫误差,Error rate = (FP+FN)/(P+N) - 对某一个实例来说,分对与分错是互斥事件,所以
Accuracy =1 - Error rate
3.Sensitivity和Specificity
-
Sensitivity =TP/P,敏感性表示的是所有正例中被分对的比例,衡量了分类器对正例的识别能力,也叫命中率 -
Specificity = TN/N,特异性表示的是所有负例中被分对的比例,衡量了分类器对负例的识别能力,也叫假报警率
4.Precison和Recall
-
Precison(准确率):当前被划分到正样本类别中,被正确分类的比例,即正样本的分类准确率 -
Recall(召回率):当前被分到正样本类别中,真实的正样本占所有正样本的比例
- 当一张图中存在多个种类数不定的目标时,对每种目标单独计算
Precision和Recall - A类目标的
Precision就是在识别出来所有A目标中,识别正确的比率 - A类目标的
Recall就是在测试集里所有的A目标中,识别正确的比率 -
Precision和Recall只是分母抽样的方式不同:
- 注:准确率和召回率是互相影响的,理想情况下肯定是做到两者都高,但是一般情况下准确率高、召回率就低, 召回率低、准确率高,当然如果两者都低,那是什么地方出问题了。
- 准确率:找的对;召回率:找的全
5.AP和mAP
- AP,
average precision,每一类别Precison的平均值 - mAP,
mean average precision,对所有类别的AP取平均值 -
AP是针对单个类别的,而mAP是针对所有类别的
6.F-Measure和F1-Measure
- F指标是
Precision和Recall的加权调和平均 - 当
α = 1时,则 F指标即为F1指标 - F1指标综合了
Precision 和 Recall的结果,因此当F1/F较高时,说明结果较为理想
ROC曲线,PR曲线和AUC
ROC曲线:接收者操作特征曲线
receiver operating characteristic curve,是反映敏感性和特异性连续变量的综合指标,roc曲线上每个点反映着对同一信号刺激的感受性横坐标:
1-Specificity,伪正类率False positive rate, FPR,TPR=TP/(TP+FN)=Recall,TPR就是召回率,即预测为正但实际为负的样本占所有负例样本的比例,FPR越大,预测正类中实际负类越多纵坐标:
Sensitivity,真正类率(True positive rate, TPR),预测为正且实际为正的样本占所有正例样本的比例,TPR越大,预测正类中实际正类越多理想目标:TPR=1,FPR=0,即图中(0,1)点,故ROC曲线越靠拢(0,1)点,越偏离45度对角线越好,
Sensitivity和Specificity越大效果越好
AUC(Area Under Curve)的值为ROC曲线下面的面积,若如上所述模型十分准确,则AUC为1PR曲线:以精确率
Precison为y轴,以召回率Recall为x轴,我们就得到了PR曲线。仍然从精确率和召回率的定义可以理解,精确率越高,召回率越高,我们的模型和算法就越高效。也就是画出来的PR曲线越靠近右上越好。
当测试集中的正负样本的分布变化的时候,在实际的数据集中经常会出现类不平衡(class imbalance)现象,即负样本比正样本多很多(或者相反),而且测试数据中的正负样本的分布也可能随着时间变化,这个时候Precision-Recall曲线会发生剧烈动荡,而ROC曲线能够基本保持不变。
目标检测评测之IoU
- 在目标检测算法中,交并比
Intersection-over-Union,IoU是一个流行的评测方式,是指产生的候选框candidate bound与原标记框ground truth bound的交叠率,即它们的交集与并集的比值。最理想情况是完全重叠,即比值为1。一般来说,这个score > 0.5就可以被认为一个不错的结果了。