机器学习分类
- 无监督学习
聚类和维度约减 - 监督学习
分类和回归 - 强化学习
数据集
- 训练集
- 验证集
验证多个模型，选最好的 - 测试集
误差
- 经验误差/训练误差
- 泛化误差
通常将测试误差作为其近似值
过拟合和欠拟合
评估方法
- 留出法
- 交叉验证法
- 自助法
性能度量
混淆矩阵
- 准确率
Accuracy = (TP + TN) / (TP + FN + FP + TN) - 精确率
Precision = TP / (TP + FP) - 召回率
Recall = TP / (TN + FN)
F-score
ROC曲线
AUC
ROC曲线下的面积