损失函数
度量模型一次预测的好坏 L( Y，f(X) )
- 常见类型：
期望风险（风险函数）
度量平均意义下的模型预测的好坏，即损失函数的期望。（关于 联行分布的期望，未知，无法直接计算）
经验风险
模型关于训练数据集的平均损失，当样本容量N–>∞，经验风险趋于期望风险。
经验风险最小化，保证模型有很好的学习效果。
结构风险（正则化）
为防止过拟合而提出，在经验风险的基础上加上了正则化项或罚项。
结构风险最小化等价于正则化。目的是选择经验风险与复杂度同时较小的模型。
正则化项表示模型的复杂度，形式多样，可以是 L1或L2范数。