计算多类分类的准确度

Question

考虑具有以下混淆矩阵的三类分类问题。

cm_matrix = 
                predict_class1    predict_class2    predict_class3
                 ______________    ______________    ______________

Actual_class1         2000                 0                 0     
Actual_class2           34              1966                 0     
Actual_class3            0                 0              2000   



Multi-Class Confusion Matrix Output
                     TruePositive    FalsePositive    FalseNegative    TrueNegative
                     ____________    _____________    _____________    ____________

    Actual_class1        2000             34                0              3966    
    Actual_class2        1966              0               34              4000    
    Actual_class3        2000              0                0              4000    

我使用的公式是：

Accuracy Of Each class=(TP ./total instances of that class)

（基于此处答案的公式：Individual class accuracy calculation confusion）

Sensitivity=TP./TP+FN ;

它在Matlab中的实现是：

acc_1  = 100*(cm_matrix(1,1))/sum(cm_matrix(1,:)) = 100*(2000)/(2000+0+0) = 100
acc_2  = 100*(cm_matrix(2,2))/sum(cm_matrix(2,:)) =  100*(1966)/(34+1966+0) = 98.3
acc_3  = 100*(cm_matrix(3,3))/sum(cm_matrix(3,:)) = 100*(2000)/(0+0+2000) = 100

sensitivity_1 = 2000/(2000+0)=1 = acc_1
sensitivity_2 =  1966/(1966+34) = 98.3 = acc_2
sensitivity_3 = 2000/2000 = 1 = acc_3

问题 1) 我的每个类别的准确度公式是否正确？为了计算每个单独类的准确性，比如对于正类，我应该在分子中取 TP。同样，对于仅负类的准确度，我应该在准确度公式中考虑分子中的 TN。相同的公式是否适用于二元分类？我的实现是否正确？

问题 2) 我的敏感度公式是否正确？那为什么我得到的答案和个别班级的准确率一样呢？

Answer 1

问题1的答案。 看来准确率只用在二元分类中，检查this link。 您参考了本网站上的答案，但它也涉及二进制分类（即仅分类为 2 个类别）。您似乎有两个以上的类，在这种情况下，您应该尝试其他方法，或者对每个类进行一对多分类（对于每个类，解析 class_n 和 non_class_n 的预测）。

回答问题 2。 同样的问题，此措施适用于二进制分类，但您的情况并非如此。

灵敏度的公式是：

TP./(TP + FN)

准确度公式为：

(TP)./(TP+FN+FP+TN)

请参阅文档here。

更新

如果你想使用混淆矩阵，你有：

TP 在对角线上，在班级的水平 FN 类列中所有值的总和。在函数getvalues 中，从函数声明开始计算行数并检查第 30 行和第 31 行：

TP(i)=c_matrix(i,i);
FN(i)=sum(c_matrix(i,:))-c_matrix(i,i);
FP(i)=sum(c_matrix(:,i))-c_matrix(i,i);
TN(i)=sum(c_matrix(:))-TP(i)-FP(i)-FN(i);

如果你应用精度公式，你得到，经过计算和简化：

accuracy = c_matrix(i,i) / sum(c_matrix(:))

简化后得到的灵敏度：

sensitivity =  c_matrix(i,i) / sum(c_matrix(i,:))

如果您想更好地理解，请查看我发送给您的链接。

Answer 2

问题 1) 我的每个类别的准确度公式是否正确？

不，您使用的公式是针对敏感度（召回）的。见下文。

为了计算每个单独类的准确性，比如说对于正类，我应该在分子中取 TP。同样，对于仅负类的准确度，我应该在准确度公式中考虑分子中的 TN。相同的公式是否适用于二元分类？我的实现是否正确？

准确率是正确分类的实例数与实例总数的比率。 TN，或正确识别为不在一个类中的实例数，也是正确分类的实例。你不能简单地将它们排除在外。

准确性通常也仅用于评估所有类的整个分类器，而不是单个类。但是，您可以推广准确度公式来处理单个类，就像 here 计算多类分类器的平均分类准确度所做的那样。 （另请参阅referenced article。）

他们对每个班级使用的公式是：

如您所见，它与通常的准确度公式相同，但我们只考虑了单个类的 TP 和 TN 分数（分母仍然是观察总数）。将此应用于您的数据集，我们得到：

acc_1 = (2000+3966)/(2000+34+0+3966) = 0.99433
acc_2 = (1966+4000)/(1966+0+34+4000) = 0.99433
acc_3 = (2000+4000)/(2000+0+0+4000)  = 1.00000

这至少更直观，因为前两个类有错误分类的实例，而第三个没有。这些措施是否有用是另一个问题。

---

问题2)我的敏感度公式是否正确？

是的，灵敏度如下：

TP / TP+FN

这是正确识别属于该类的实例与该类中的实例总数的比率。在二元分类器中，您默认计算正类的敏感度。负类的敏感性是错误率（在维基百科文章中也称为未命中率或假阴性率），简单来说：

FN / TP+FN === 1 - Sensitivity

FN不过是负类的TP！ （TP 的意思也反过来了。）所以很自然的把它扩展到所有的类。

那为什么我得到的答案与个别班级的准确率一样？

因为您对两者都使用相同的公式。

看看你的混淆矩阵：

cm_matrix = 
                predict_class1    predict_class2    predict_class3
                 ______________    ______________    ______________

Actual_class1         2000                 0                 0     
Actual_class2           34              1966                 0     
Actual_class3            0                 0              2000

class 1 的 TP 显然是 2000

cm_matrix(1,1)

FN 是该行中其他两列的总和。所以TP+FN就是第1行的和

sum(cm_matrix(1,:) 

这正是您用于准确度的公式。

acc_1  = 100*(cm_matrix(1,1))/sum(cm_matrix(1,:)) = 100*(2000)/(2000+0+0) = 100