对于分类模型，常用的指标有混淆矩阵、ROC曲线，AUC值，KS曲线以及KS值、Lift图，Gain图等：
1. 混淆矩阵---确定截断点后，评价学习器性能
假设训练之初以及预测后，一个样本是正例还是反例是已经确定的，这个时候，样本应该有两个类别值，一个是真实的0/1，一个是预测的0/1
TP（实际为正预测为正），FP（实际为负但预测为正），TN（实际为负预测为负），FN（实际为正但预测为负）
通过混淆矩阵我们可以给出各指标的值：
准确率：反映分类器统对整个样本的判定能力，能将正的判定为正，负的判定为负的能力，计算公式：Accuracy=(TP+TN) / (TP+FP+TN+FN)
精确率：P=TP / (TP+FP)；系统检索到的相关文件 / 系统所有检索到的文件总数
召回率： R= TP / (TP+FN)=TP/P；系统检索到的相关文件 / 系统所有相关的文件总数，准确率和召回率是互相影响的，理想情况下肯定是做到两者都高，但是一般情况下准确率高、召回率就低，召回率低、准确率高，当然如果两者都低，那是什么地方出问题了。
特异性：描述真阴(没病)率的百分率，特异性越高，即1-特异度越低,误诊率越少；负样本的精准率(预测的负的正确的占预测负的总数的)：=TN / (FP+TN)=TN/N
敏感度：描述真阳(有病)率的百分数，敏感度越高,漏诊病例越少;正样本的精准率(预测的正的正确的占预测正的总数的)：TPR=TP / (TP+FN)=TP/P
F1值为精确率和召回率的调和均值 ,F1分数：F1=2* P * R / (P + R)
2. ROC曲线， AUC ----评价学习器性能，检验分类器对客户进行正确排序的能力
分类器产生的结果通常是一个概率值不是直接的0/1变量，通常数值越到，代表正例的可能性越大。根据任务的不同也会采取不同的“截断点”，大于则为正例，小于则为反例。如重视查全率，则阈值可以设置低一些；而重视查准率，阈值可以设置高一些。如果设定了截断点或明确了任务，那么我们根据混淆矩阵就可以知道分类器的效果好坏。在未设定截断点（任务不明确）情况下，我们如何评价一个分类模型的效果的好坏或者比较不同分类模型效果？我们可以观察这个学习器利用所有可能的截断点（就是所有样本的预测结果）对样本进行分类时的效果，注意要先对所有可能的截断点进行排序，方便对比观察。
ROC曲线描绘的是不同的截断点时，并以FPR和TPR为横纵坐标轴，描述随着截断点的变小，TPR随着FPR的变化。
纵轴<敏感度>：TPR=正例分对的概率 = TP/(TP+FN)，其实就是查全率
横轴<1-特异性>：FPR=负例分错的概率 = FP/(FP+TN),1-特异性
如果是随机分类，没有进行任何学习器，FPR=TPR，即正例分对和负例分错概率相同，预测出来的正例负例和正例负例本身的分布是一致的，所以是一条45°的直线。因此，ROC曲线越向上远离这条45°直线，说明用了这个学习器在很小的代价（负例分错为正例，横轴）下达到了相对较大的查全率（TPR）。
判断标准：
1. 一个ROC曲线完全”包住“另一个ROC曲线--->第一个学习器效果更好
2. 两个ROC曲线相交--->利用ROC曲线下的面积（AUC，area under ROC curve，是一个数值)进行比较
3. KS曲线，KS值---学习器将正例和反例分开的能力，确定最好的“截断点”
KS曲线和ROC曲线都用到了TPR，FPR。KS曲线是把TPR和FPR都作为纵坐标，而样本数作为横坐标。
作图步骤：
1. 根据学习器的预测结果（注意，是正例的概率值，非0/1变量）对样本进行排序（从大到小）-----这就是截断点依次选取的顺序
2. 按顺序选取截断点，并计算TPR和FPR ---也可以只选取n个截断点，分别在1/n，2/n，3/n等位置
3. 横轴为样本的占比百分比（最大100%），纵轴分别为TPR和FPR，可以得到KS曲线
4. TPR和FPR曲线分隔最开的位置就是最好的”截断点“，最大间隔距离就是KS值，通常>0.2即可认为模型有比较好偶的预测准确性
4. Lift 和Gain图
个人认为前三个指标应用场景更多一些。
Lift图衡量的是，与不利用模型相比，模型的预测能力“变好”了多少，lift(提升指数)越大，模型的运行效果越好。
Gain图是描述整体精准度的指标。<就是精确度>
作图步骤：
1. 根据学习器的预测结果（注意，是正例的概率值，非0/1变量）对样本进行排序（从大到小）-----这就是截断点依次选取的顺序
2. 按顺序选取截断点，并计算Lift和Gain ---也可以只选取n个截断点，分别在1/n，2/n，3/n等位置
例图：