【发布时间】：2010-10-09 19:38:55
【问题描述】：
可以使用Akaike Information Criterion (AIC) 衡量统计模型的拟合优度，这说明了拟合优度和用于模型创建的参数数量。 AIC 涉及为该模型计算似然函数的最大值 (L)。 给定分类模型的预测结果，如何计算 L，表示为混淆矩阵？
【问题讨论】：
标签： statistics modeling entropy
【发布时间】：2010-10-09 19:38:55
【问题描述】：
不可能从混淆矩阵计算 AIC，因为它不包含任何关于可能性的信息。根据您使用的模型，可能会计算似然性或准似然性，从而计算 AIC 或 QIC。
您正在研究的分类问题是什么，您的模型是什么？
在分类上下文中，通常使用其他度量来进行 GoF 测试。我建议阅读 Hastie、Tibshirani 和 Friedman 的 The Elements of Statistical Learning，以便对这种方法有一个很好的了解。
希望这会有所帮助。
【讨论】：
Kononenko 和 Bratko 的Information-Based Evaluation Criterion for Classifier's Performance 正是我想要的：
分类准确率通常用作衡量分类性能的指标。然而，已知该措施有几个缺陷。一个公平的评估标准应该排除类概率的影响，这可能使一个完全不知情的分类器能够轻易地实现高分类精度。本文提出了一种评估分类器答案信息分数的方法。它排除了先验概率的影响，处理各种类型的不完美或概率性答案，还可用于比较不同领域的表现。
【讨论】：