对于给定的输入 \(X\) ，由 \(f(X)\) 给出输出 \(Y\) ，这个输出的预测值 \(f(X)\) 与真实值 \(Y\) 可能一致也可能不一致，用一个损失函数 (loss function) 来度量预测错误的程度，记作 \(L(Y,f(X))\) 。
常用的损失函数比如 0-1 损失函数：
\[L(Y,f(X)) =\left\{
\begin{aligned}
1, & & Y \neq f(X) \\
0, & &Y = f(X)
\end{aligned}
\right.
\]
期望风险（expected loss）
\[R_{exp} = E_p[L(Y,f(X))]
\]
学习的目的就是选择期望风险最小的模型。
经验风险(empirical risk)
模型 \(f(X)\) 关于训练集的平均损失称为经验风险，记作：
\[R_{emp} = \frac{1}{N}\sum_{i=1}^{N}L(y_i, f(x_i))
\]
当样本容量很小时，经验风险最小化的学习效果未必好，会产生过拟合现象。
结构风险（Structural Risk Minimization）
结构风险最小化是为了防止过拟合而提出的策略。结构风险最小化在经验风险上加入了表示模型复杂度的正则化项。定义是：
\[R_{srm}(f) = \frac{1}{N}\sum_{i=1}^{N}L(y_i, f(x_i)) + \lambda J(f)
\]