分类
- 根据输出空间的不同分类，二分类，多分类，回归，结构学习等
- 输出空间说明了学习目的
监督与无监督
- 输入数据带标签（y）即为：有监督
-
输出输出无标签（y）即为：无监督
分类聚类问题,异常检测等都是无监督
半监督： 标记少量数据避免标记全量数据的麻烦
输出类型分类
学习方式分类
概率逼近
随着样本增大，样本概率逼近全量数据概率（哈夫曼不等式：概率偏差有上届）
抽样误差
一个硬币获得正面概率为0.5，十个硬币全是正面的概率远小于0.5
样本误差上界
样本在多个模型中的误差影响小于全部误差之和
Commnents：
假设有限，且样本在单个假设上的误差一定，在多个假设上的误差有上界，若在多个假设上的误差足够小，样本数据还是可学习的