提前终止法与正则化法之间关系

文章目录

• 前言
• 提前终止法分析
• 贝叶斯正则化法分析
• 比较
• 参考资料

前言

---

前两篇博客（从贝叶斯角度理解正则化、正则化）分别介绍了提前终止法和正则化法。

它们可以近似等价的吗？怎么近似等价？

左边这张图轮廓线表示负对数似然函数的轮廓，虚线表示从原点开始的SGD所经过的轨迹。提前终止法的轨迹在较早的$\tilde \omega $点终止，而不是在停止在最小化代价的点$点终止，而不是在停止在最小化代价的点{\omega ^{\text{*}}}$处；
右边这张图使用了L2正则化法。虚线圆圈表示L2惩罚的轮廓，L2惩罚使得总代价的最小值比非正则化代价的最小值更靠近原点。
可以看出，两种方法近似等价。

接下来对两者进行分析。

提前终止法分析

---

对于上图所示的单层线性网络，该线性网络的均方误差性能函数时二次的，即：

$F(x) = c + d^{T}x + \frac{1}{2}x^{T}\text{Ax}$F(x)=c+dTx+21​xTAx

其中，为Hessian矩阵。

① 为了研究提前终止法性能，我们将分析最速下降法在线性网络上的演化。由式10.16知性能指标的梯度：

$\nabla F(x) = Ax + d$∇F(x)=Ax+d

最速下降法：

$x_{k + 1} = x_{k} - \alpha g_{k} = x_{k} - \alpha(Ax_{k} + d)$xk+1​=xk​−αgk​=xk​−α(Axk​+d)

对于二次性能指标，极小值出现在下面的点：

$x^{\text{ML}} = - A^{- 1}d$xML=−A−1d

上标ML表示结果使似然函数极大化同时使误差平方和极小化。则

${x_{k + 1} = x_{k} - \alpha(Ax_{k} + d)}\\{\text{}= x_{k} - \alpha A(x_{k} + A^{- 1}d)}\\{\text{} = x_{k} - \alpha A(x_{k} + x^{\text{ML}})}\\{\text{} = \left\lbrack I - \text{αA} \right\rbrack x_{k} + \alpha Ax^{\text{ML}}}\\{\text{} = Mx_{k} + \left\lbrack I - M \right\rbrack Ax^{\text{ML}}}$xk+1​=xk​−α(Axk​+d)=xk​−αA(xk​+A−1d)=xk​−αA(xk​+xML)=[I−αA]xk​+αAxML=Mxk​+[I−M]AxML

其中，$M = (I - \alpha A)$M=(I−αA)。

② 将$x_{k + 1}$xk+1​与初始化权值$x_{k}$xk​进行关联

$x_{1} = Mx_{0} + \left\lbrack I - M \right\rbrack x^{\text{ML}}$x1​=Mx0​+[I−M]xML

${x_{2} = Mx_{1} + \left\lbrack I - M \right\rbrack x^{\text{ML}}}\\{\text{} = M(Mx_{0} + \left\lbrack I - M \right\rbrack x^{\text{ML}}) + \left\lbrack I - M \right\rbrack x^{\text{ML}}}\\{\text{} = M^{2}x_{0} + \left\lbrack I - M^{2} \right\rbrack x^{\text{ML}}}$x2​=Mx1​+[I−M]xML=M(Mx0​+[I−M]xML)+[I−M]xML=M2x0​+[I−M2]xML

递推可以得

KaTeX parse error: Undefined control sequence: \mspace at position 6: x_{k}\̲m̲s̲p̲a̲c̲e̲{6mu} = M^{k}x_…

贝叶斯正则化法分析

在误差平方和上加上一个惩罚项作为正则化性能指标，即：

$F(x) = \beta E_{D} + \alpha E_{W}$F(x)=βED​+αEW​

等价的性能指标：

$F^{*}(x) = \frac{F(x)}{\beta} = E_{D} + \frac{\alpha}{\beta}E_{W} = E_{D} + \rho E_{W}$F∗(x)=βF(x)​=ED​+βα​EW​=ED​+ρEW​上式只有一个正则化参数。

权值平方和惩罚项$E_{W}$EW​可以写为：

$E_{W} = (x - x_{0})^{T}(x - x_{0})$EW​=(x−x0​)T(x−x0​)

其梯度为$\nabla E_{W} = 2(x - x_{0})$∇EW​=2(x−x0​)

误差平方和的梯度：$\nabla E_{D} = Ax + d = A(x + A^{- 1}d) = A(x - x^{\text{ML}})$∇ED​=Ax+d=A(x+A−1d)=A(x−xML)

为了寻找正则化性能指标的极小值，同时也是最可能的值$x^{\text{MP}}$xMP，令梯度为零。

$\nabla F^{*}(x) = \nabla E_{D} + \rho\nabla E_{W} = A(x^{\text{MP}} - x^{\text{ML}}) + 2\rho(x^{\text{MP}} - x_{0}) = 0$∇F∗(x)=∇ED​+ρ∇EW​=A(xMP−xML)+2ρ(xMP−x0​)=0

化简：$(A + 2\rho I)(x^{\text{MP}} - x^{\text{ML}}) = 2\rho(x_{0} - x^{\text{ML}})$(A+2ρI)(xMP−xML)=2ρ(x0​−xML)

求解$x^{\text{MP}} - x^{\text{ML}}$xMP−xML，有

$(x^{\text{MP}} - x^{\text{ML}}) = 2\rho(A + 2\rho I)^{- 1}(x_{0} - x^{\text{ML}})$(xMP−xML)=2ρ(A+2ρI)−1(x0​−xML)

移项：

${x^{\text{MP}} = 2\rho(A + 2\rho I)^{- 1}(x_{0} - x^{\text{ML}}) + x^{\text{ML}}}\\{\text{} = M_{P}(x_{0} - x^{\text{ML}}) + x^{\text{ML}}\backslash n}$xMP=2ρ(A+2ρI)−1(x0​−xML)+xML=MP​(x0​−xML)+xML\n

其中，$M_{P} = 2\rho(A + 2\rho I)^{- 1}$MP​=2ρ(A+2ρI)−1。

比较

---

提前终止法的结果表明从初始值到k次迭代后的最大似然权值我们进步了多少；
正则化法描述了正则化解与误差平方和极小值之间关系。

两个解等价${\leftrightarrow x}_{k} = x^{\text{MP}}$↔xk​=xMP ${\leftrightarrow M}^{k} = M_{P}$↔Mk=MP​

$M$M和$A$A 具有相同的特征向量，$A$A的特征值为$\lambda_{i}$λi​，$M$M则的特征值为$1 - \alpha\lambda_{i}$1−αλi​

，则$M^{k}$Mk的特征值为$eig(M^{k}) = (1 - \alpha\lambda_{i})^{k}$eig(Mk)=(1−αλi​)k

同理，可得$M_{P}$MP​的特征值为$eig(M_{P}) = \frac{2\rho}{\lambda_{i} + 2\rho}$eig(MP​)=λi​+2ρ2ρ​

因此，$M^{k} = M_{P}$Mk=MP​等价于

$eig(M^{k}) = (1 - \alpha\lambda_{i})^{k} = \frac{2\rho}{\lambda_{i} + 2\rho} = eig(M_{P})$eig(Mk)=(1−αλi​)k=λi​+2ρ2ρ​=eig(MP​)

取对数，有：

$k\log(1 - \alpha\lambda_{i}) = - \log(1 + \frac{\lambda_{i}}{2\rho})$klog(1−αλi​)=−log(1+2ρλi​​)

为使上式成立，则$\lambda_{i} = 0$λi​=0。

对等式两边求导，有：

$- \frac{1}{(1 + \frac{\lambda_{i}}{2\rho})}\frac{1}{2\rho} = \frac{k}{1 - \alpha\lambda_{i}}( - \alpha)$−(1+2ρλi​​)1​2ρ1​=1−αλi​k​(−α)

当$\alpha\lambda_{i}$αλi​很小（缓慢、稳定的学习）且$\frac{\lambda_{i}}{2\rho}$2ρλi​​很小，则有近似结果：

$\text{αk} \cong \frac{1}{2\rho}$αk≅2ρ1​

因此，提前终止法和正则化法近似相等。增加迭代次数$k$k近似于减少正则化参数$\rho$ρ。可以直观看出，增加迭代次数或者减少正则化参数都能够引起过拟合。

参考资料

---

1.尹恩·古德费洛.深度学习[M].北京:人民邮电出版社,2017.8

2.马丁 T·哈根,章毅(译).神经网络设计[M].北京:机械出版社,2017.12