准确率(precision)
在被判定为正样本的数据中,实际为正样本的个数
精确率(accuracy)
在所有数据中,正负样本判断正确的个数
召回率(recall)
在实际为正样本的数据中,被判定为正样本的个数
F1值
F1值是精确率和召回率的调和均值,相当于精确率和召回率的综合评价指标
ROC
接收者操作特征曲线(receiver operating characteristic curve),是反映敏感性和特异性连续变量的综合指标,ROC曲线上每个点反映着对同一信号刺激的感受性
横坐标:伪正类率(False positive rate,FPR,FPR=FP/(FP+TN)),预测为正但实际为负的样本占所有负例样本的比例;
纵坐标:真正类率(True positive rate,TPR,TPR=TP/(TP+FN)),预测为正且实际为正的样本占所有正例样本的比例(召回率)
真正的理想情况: TPR应接近1,FPR接近0,即图中的(0,1)点。ROC曲线越靠拢(0,1)点,越偏离45度对角线越好
AUC
ROC曲线下的面积,显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围一般在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好,AUC值越大的分类器, 正确率越高
公式表达
TP(True Positive):被判定为正样本,实际为正样本
TN(True Negative):被判定为负样本,实际为负样本
FP(False Positive):被判定为正样本,实际为负样本
FN(False Negative):被判定为负样本,实际为正样本
precision = TP/(TP+FP)
recall = TP/(TP+FN)
accuracy = (TP+TN)/(TP+TN+FP+FN)
F1 = 2/(1/P+1/R) = 2PR/(P+R) (P代表精确率,R代表召回率),