模型评估
模型评估中有三个关键问题：
如何获得测试结果？ 评估方法
如何评估性能优劣？ 性能度量
如何判断实质差别？ 比较检验
1. 模型评估方法，请参考机器学习第四节[误差分析](https://blog.csdn.net/dukuku5038/article/details/82682855）
2. 性能度量(performance measure)是衡量模型泛化能力的
评价标准，反映了任务需求
（1）错误率 VS 精度
（2）查准率 vs. 查全率
（3）PR图, BEP
（4）F1
（5）ROC, AUC
（6）非均等代价
3. 比较检验
在某种度量下取得评估结果后，是否可以直接比较以评判优劣？
机器学习的理论基础
常用方法：
统计假设检验 (hypothesis test) 为学习器性能比较提供了 重要依据
Friedman 检验图：