机器学习复习3-模型评估与选择Part2-ROC与AUC等

ROC与AUC

代价敏感错误率与代价曲线

在非均等代价下，ROC曲线不能直接反映出学习器的期望总体代价，而 “代价曲线” 可以。

FNR=1-TPR 为假反例率。

比较检验

如何比较度量的结果：
1） 假设检验
2） 交叉验证t检验
3） McNemar检验
4） Friedman检验 与 Nemenyi后续检验

偏差与方差

不考虑噪声，偏差很大可以认为是由模型欠拟合引起的，方差很大可以认为是由模型过拟合引起的。