目录

混淆矩阵(Confusion Matrix)

解释:

一级指标(最底层的):

二级指标

三级指标


混淆矩阵(Confusion Matrix)

混淆矩阵是ROC曲线绘制的基础,同时它也是衡量分类型模型准确度中最基本,最直观,计算最简单的方法。

模型常见评估方法   https://blog.csdn.net/qq_35290785/article/details/89554017

解释:

混淆矩阵就是分别统计分类模型归错类,归对类的观测值个数,然后把结果放在一个表里展示出来。这个表就是混淆矩阵

混淆矩阵是评判模型结果的指标,属于模型评估的一部分。此外,混淆矩阵多用于判断分类器(Classifier)的优劣,适用于分类型的数据模型,如分类树(Classification Tree)、逻辑回归(Logistic Regression)、线性判别分析(Linear Discriminant Analysis)等方法。

混淆矩阵的定义
混淆矩阵(Confusion Matrix),矩阵,可以理解为就是一张表格,混淆矩阵其实就是一张表格而已。

以分类模型中最简单的二分类为例,我们的模型最终需要判断样本的结果是0还是1,或者说是positive还是negative。
 

一级指标(最底层的):

  1. 真实值是positive,模型认为是positive的数量(True Positive=TP
  2. 真实值是positive,模型认为是negative的数量(False Negative=FN):这就是统计学上的第一类错误(Type I Error)
  3. 真实值是negative,模型认为是positive的数量(False Positive=FP):这就是统计学上的第二类错误(Type II Error)
  4. 真实值是negative,模型认为是negative的数量(True Negative=TN
     

例子:

将这四个指标一起呈现在表格中,就能得到如下这样一个矩阵,我们称它为混淆矩阵(Confusion Matrix):

混淆矩阵(Confusion Matrix),模型评估

二级指标

但是,混淆矩阵里面统计的是个数,有时候面对大量的数据,光凭算个数,很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下4个指标,我称他们是二级指标(通过最底层指标加减乘除得到的):

  1. 准确率(Accuracy)—— 针对整个模型(预测正确的个数 / 总样本中
  2. 精确率(Precision)——                       (预测positive正确的个数 /  预测为positive的样本
  3. 灵敏度(Sensitivity):就是召回率(Recall)
  4. 特异度(Specificity)
     

混淆矩阵(Confusion Matrix),模型评估

 通过上面的四个二级指标,可以将混淆矩阵中数量的结果转化为0-1之间的比率。便于进行标准化的衡量。在这四个指标的基础上在进行拓展,会产令另外一个三级指标

三级指标

这个指标叫做F1 Score。他的计算公式是:

混淆矩阵(Confusion Matrix),模型评估

  1. 其中,P代表Precision,R代表Recall。

F1-Score指标综合了Precision与Recall的产出的结果。F1-Score的取值范围从0到1的,1代表模型的输出最好,0代表模型的输出结果最差

refenrence:

https://blog.csdn.net/Orange_Spotty_Cat/article/details/80520839一个例子

相关文章: