多类系统的计算精度和精度

Question

我目前正在评估一个输出二进制结果的词包纹理分类器：

• 真阳性(TP)
• 真阴性(TN)
• 误报(FP)
• 假阴性(FN)

我正在计算准确性，但不确定我是否正确分配了真阴性。

我目前正在处理 8 个类，每次出现真阳性时分配 7 个真阴性，每次出现假阳性时分配 6 个真阴性和假阴性。

我不确定是否应该只在有真阳性时才在真阴性上加一个？ 这似乎仍然给出了过高的结果，比如这些结果：

TP：20

FP：10

TN：20

FN：10

准确度：0.66

当像我最初那样分配真正的否定时，它甚至更高。当只有一半的结果正确时，准确率不应该是 50% 还是正常的？

您还认为这是衡量分类器准确性的最佳指标还是有更高级的指标？

谢谢

Answer 1

根据我的阅读，我最初使用的方法是正确的，尽管标准准确度（总体准确度）不一定是评估分类器的最佳方法。

Precision 和 Recall 被广泛使用，因为它们代表类型 1 和类型 2 错误。但是，对于单个组合指标，通常使用 F1Measure F1Score 这是精度和召回率的调和平均值，可以使用以下公式计算： formula.

其他选项，如 ROC 曲线（由真阳性率 (TPR) 和假阳性率 (FPR) 生成），也可用于多类系统，但不一定适用于多类系统。为了使用这些生成单个度量，采用曲线下面积（AUC），这在很大程度上代表了分类器的预测能力。然而，这再次没有广泛用于多类系统。