统计学习方法-李航（第一章2）
如何对经验风险进行矫正
在现实中，由于训练样本数目有限，甚至很小，所以用经验风险估计期望风险往往不理想，要对经验风险进行一定的矫正。这就关系到监督学习的两个策略：经验风险最小化和结构风险最小化。
经验风险最小化（ERM）
经验风险最小的模型就是最优的模型
其中，是假设空间。
在样本容量足够大时，经验风险最小化能保证很好的学习效果。比如：极大似然估计。当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。
缺点
当样本容量很小时，经验风险最小化学习的效果未必好，会产生过拟合（ove-fitting）
结构风险最小化
是为了防止过拟合而提出的，结构风险最小化等价于正则化。
结构风险在经验风险上加上表示模型复杂度的正则化项或罚项。
其中是模型的复杂度，是定义在假设空间上的泛函。模型越复杂，复杂度越大。是系数，用以权衡经验风险和模型的复杂度。
贝叶斯估计中的最大后验概率就是结构风险最小化的一个例子。当模型是条件概率分布、损失函数是对数函数、模型复杂度由模型的先验概率表示时，结构风险最小化等价于最大后验概率估计。
结构风险最小化模型是最优的模型。
这时，监督学习问题就变成了经验风险或结构风险函数的最优化问题。