[cvpr2015]Improving training of deep neural networks via Singular Value Bounding

introduction

• 【training method】
• Singular Value Bounding (SVB)：在网络训练过程中，通过将权重矩阵的奇异值限制在1附近，保证权值矩阵的正交性。
• Bounded Batch Normalization (BBN)：用SVB的思想对BN的改进，去除了BN的ill-conditioning（ill-conditioning参考）的风险

算法

• 样本：
  {xxi,yyi}Ki=1,xxi∈RNx,yyi∈RNy$$\{x{x}_i,y{y}_i{\}}_{i=1}^K,x{x}_i\in {\mathbb{R}}^{N_x},y{y}_i\in {\mathbb{R}}^{N_y}$$
• lth$l^{th}$层（共L$L$层）输入特征：
  xxl=f(zl)=f(WWlxxl−1+bbl)∈RNl,WWl∈RNl×Nl−1,bbl∈RNl$$x{x}^l=f(z^l)=f(W{W}^{l}x{x}^{l-1}+b{b}^l)\in {\mathbb{R}}^{N_l},W{W}^l\in {\mathbb{R}}^{N_l\times N_{l-1}},b{b}^l\in {\mathbb{R}}^{N_l}$$
• 有一些理论研究显示以正交的随机高斯矩阵初始化网络能够带来更好的表现，作者希望尝试在训练过程当中保持权重矩阵的正交性，具体来说：
  
  Θ=min{WWl,bbl}Ll=1L({xxi,yyi}Ki=1;Θ)$$\mathbf{\Theta }=\underset{{\{W{W}^l,b{b}^l\}}_{l=1}^L}{min}\mathcal{L}(\{x{x}_i,y{y}_i{\}}_{i=1}^K;\mathrm{\Theta })$$
  
  
  s.t.∀l∈{1,..,L},WWl∈O$$s.t.\mathrm{\forall }l\in \{1,..,L\},W{W}^l\in \mathcal{O}$$
  
  (其中O$\mathcal{O}$指的是那些行向量（或者列向量）相互正交的矩阵的集合，即文中所提的Stiefel流形
• 通过在执行SGD的同时将权重矩阵的奇异值限制到[1/(1+ϵ),(1+ϵ)]$[1/(1+ϵ),(1+ϵ)]$来完成
• SVB:
  

推导与证明

前向

• 为了简化，先使用两层神经网络WW2WW1xx$W{W}^{2}W{W}^{1}xx$(忽略bias)，线性**函数f(z)=z$f(z)=z$，损失函数L=12K∑Ki=1||yyi−WW2WW1xxi||22$\mathcal{L}=\frac{1}{2K}\sum _{i=1}^K||y{y}_i-W{W}^{2}W{W}^{1}x{x}_i|{|}_2^2$
• 其中：
  ||yyi−WW2WW1xxi||22=tr[(yyi−WW2WW1xxi)T(yyi−WW2WW1xxi)]=tr(yyTiyyi)−tr(yyTi(WW2WW1xxi))−tr((WW2WW1xxi)Tyyi)+tr[(WW2WW1xxi)T(WW2WW1xxi)]=tr(yyTiyyi)−2tr[(WW1xxi)TWW2Tyyi]+tr[(WW1xxi)T(WW2TWW2)(WW1xxi)]$$\begin{gathered} ||y{y}_i-W{W}^{2}W{W}^{1}x{x}_i|{|}_2^2=tr[(y{y}_i-W{W}^{2}W{W}^{1}x{x}_i{)}^T(y{y}_i-W{W}^{2}W{W}^{1}x{x}_i)] \\ =tr(y{y}_i^{T}y{y}_i)-tr(y{y}_i^T(W{W}^{2}W{W}^{1}x{x}_i))-tr((W{W}^{2}W{W}^{1}x{x}_i{)}^{T}y{y}_i)+tr[(W{W}^{2}W{W}^{1}x{x}_i{)}^T(W{W}^{2}W{W}^{1}x{x}_i)] \\ =tr(y{y}_i^{T}y{y}_i)-2tr[(W{W}^{1}x{x}_i{)}^{T}W{W}^{2T}y{y}_i]+tr[(W{W}^{1}x{x}_i{)}^T(W{W}^{2T}W{W}^2)(W{W}^{1}x{x}_i)] \end{gathered}$$
• 上式对W2W2$W2W2$求偏导（矩阵求导可查表(WIKI)）可得:
  
  0−2yyi(WW1xxi)T+(WW2T)T(WW1xxi)(WW1xxi)T+(WW2T)T((WW1xxi)T)T((WW1xxi))T=2[−yyixxTi+WW2WW1(xxixxTi)]WW1T$$\begin{gathered} 0-2y{y}_i(W{W}^{1}x{x}_i{)}^T+(W{W}^{2T}{)}^T(W{W}^{1}x{x}_i)(W{W}^{1}x{x}_i{)}^T+(W{W}^{2T}{)}^T((W{W}^{1}x{x}_i{)}^T{)}^T((W{W}^{1}x{x}_i){)}^T \\ =2[-y{y}_{i}x{x}_i^T+W{W}^{2}W{W}^1(x{x}_{i}x{x}_i^T)]W{W}^{1T} \end{gathered}$$
• 综上可得：
• ∂L∂WW2=(CCxy−WW2WW1CCxx)WW1T$$\frac{\mathrm{\partial }\mathcal{L}}{\mathrm{\partial }W{W}^2}=(C{C}^{xy}-W{W}^{2}W{W}^{1}C{C}^{xx})W{W}^{1T}$$
  
  类似地：
  
  ∂L∂WW1=WW2T(CCxy−WW2WW1CCxx)$$\frac{\mathrm{\partial }\mathcal{L}}{\mathrm{\partial }W{W}^1}=W{W}^{2T}(C{C}^{xy}-W{W}^{2}W{W}^{1}C{C}^{xx})$$
  
  其中：
  
  CCyx=1K∑i=1KyyixxTt,CCxx=1K∑i=1KxxixxTt$$C{C}^{yx}=\frac{1}{K}\sum _{i=1}^{K}y{y}_{i}x{x}_t^T,C{C}^{xx}=\frac{1}{K}\sum _{i=1}^{K}x{x}_{i}x{x}_t^T$$
  
  假设输入数据做了白化，ccyx$c{c}^{yx}$为x$x$和y$y$的交叉协方差矩阵(cross-covariance matrix，注意到x是zero-mean，不过y应该不会是zero-mean吧。。。就当近似)，而CCxx=II$C{C}^{xx}=II$
• 其中，对ccyx$c{c}^{yx}$作奇异值分解
  CCyx=UUySSyxVVxT$$C{C}^{yx}=U{U}^{y}S{S}^{yx}V{V}^{xT}$$
  ，由奇异值分解的性质，左奇异向量组成的UUy∈RNy×Ny$U{U}^y\in {\mathbb{R}}^{N_y\times N_y}$表示了输出空间RNy${\mathbb{R}}^{N_y}$内的一组基底（文中：represent independent directions of output
  variations），右奇异向量组成的VVx∈RNx×Nx$V{V}^x\in {\mathbb{R}}^{N_x\times N_x}$则表示了输入空间RNx${\mathbb{R}}^{N_x}$的一组基底，SSyx∈RNy×Nx$S{S}_{yx}\in {\mathbb{R}}^{N_y\times N_x}$是包含了排序过的奇异值的对角矩阵
• 再对WW1$W{W}^1$和WW2$W{W}^2$作初始化为：
  
  WW1=RRSS1VVxT,WW2=RRSS2VVxT$$W{W}^1=RRS{S}^{1}V{V}^{xT},W{W}^2=RRS{S}^{2}V{V}^{xT}$$
  
  其中，RR∈RN1×N1$RR\in {\mathbb{R}}^{N_1\times N_1}$是一个任意的正交矩阵，并且在训练过程当中保持不变。SS1$S{S}^1$和SS1$S{S}^1$都为对角矩阵
  损失函数的偏导即是：
  
  ∂L∂WW1=RRSS2T(SSyx−SS2SS1)VVxT∂L∂WW2=UUy(SSyx−SS2SS1)SS1TRRT$$\begin{gathered} \frac{\mathrm{\partial }\mathcal{L}}{\mathrm{\partial }W{W}^1}=RRS{S}^{2T}(S{S}^{yx}-S{S}^{2}S{S}^1)V{V}^{xT} \\ \frac{\mathrm{\partial }\mathcal{L}}{\mathrm{\partial }W{W}^2}=U{U}^y(S{S}^{yx}-S{S}^{2}S{S}^1)S{S}^{1T}R{R}^T \end{gathered}$$
• 当RR$RR$给定的时候，能够保证WW1$W{W}^1$和WW2$W{W}^2$沿着他们各自的基地变化(
  are optimized along their respective independent
  directions of variations. )
• 记sm$s_m$、tm$t_m$和σm${\sigma }_m$分别为SS1$S{S}^1$、SS1$S{S}^1$和SSyx$S{S}^{yx}$的第m个对角元素，那么有:
  
  ∂L∂sm=(σm−smtm)tm,∂L∂tm=(σm−smtm)sm$$\frac{\mathrm{\partial }\mathcal{L}}{\mathrm{\partial }{s}_m}=({\sigma }_m-s_m{t}_m)t_m,\frac{\mathrm{\partial }\mathcal{L}}{\mathrm{\partial }{t}_m}=({\sigma }_m-s_m{t}_m)s_m$$
  
  （忽略常数部分）
  其中，L$\mathcal{L}$可以和能量函数
  
  ε(sm,tm)=12(σm−smtm)2$$\epsilon (s_m,t_m)=\frac{1}{2}({\sigma }_m-s_m{t}_m{)}^2$$
  进行类比，
  从这里可以清楚地看出，式
  
  smtm$$s_m{t}_m$$
  
  正朝着σm${\sigma }_m$的方向优化。
• 将上述分析拓展到L$L$层：
  
  
  其中，WWl=RRlSSRRl+1T$W{W}^l=R{R}^{l}SS{R{R}^{l+1}}^T$，权值矩阵的右奇异向量会作为下一层矩阵的左奇异向量，但是Algorithm 1（SVB）中并未做到这一点
  
  
  （注：σM${\sigma }_M$在给定训练数据时已经确定）
  易证，当L$L$很大的时候，如果所有奇异值slm$s_m^l$没有落在1附近，则式（10）是不能收敛的。
  
• 作者认为，由于目前的训练方法中没有对权值矩阵奇异值做出限制，因此所有层的权值矩阵能够在任意层和方向上放大或者缩小，导致结果容易陷入局部最小，使得仅仅只有一部分的输入-输出互相关关系（input-output correlations，我认为就是前文的矩阵CCyx$C{C}^{yx}$中的向量）被使用到。
• 考虑一个两层模型WWl+1WWl$W{W}^{l+1}W{W}^l$，做奇异值分解，有:
  WWl+1WWl=UUl+1SSl+1VVl+1TUUlSSlVVlT$$W{W}^{l+1}W{W}^l=U{U}^{l+1}S{S}^{l+1}{V{V}^{l+1}}^{T}U{U}^{l}S{S}^l{V{V}^l}^T$$
  ，
  记
  MM=SSl+1VVl+1TUUlSSl$$MM=S{S}^{l+1}{V{V}^{l+1}}^{T}U{U}^{l}S{S}^l$$
  ，其中该矩阵第m$m$行m′$m^{{}^{\prime }}$列元素可记为：
  
  MMm,m′=sl+1mslm(vvl+1mTuulm′)$$M{M}_{m,m^{{}^{\prime }}}=s_m^{l+1}{s}_m^l({v{v}_m^{l+1}}^{T}u{u}_{m^{{}^{\prime }}}^l)$$
  
  式中(vvl+1mTuulm′)$({v{v}_m^{l+1}}^{T}u{u}_{m^{{}^{\prime }}}^l)$表示l$l$层和l+1$l+1$层之间的基底坐标变换（即表示了第l层ouput space第m′$m^{{}^{\prime }}$个基上的变动与第(l+1)层input space第m$m$个基上的变动的混合）
• Algorithm 1（SVB）能够通过限制slm$s_m^l$和sl+1m$s_m^{l+1}$，保证信号的变动从上一层传向下一层时，各个方向的强度更加适当（我的理解是避免了ill-conditioning的出现）。作者认为没有这些限制以后，一些方向的变动会被过度放大，使得别的方向的变动被缩小很多。

反向

• 
• 记WWi=RRiSSRRi+1T$W{W}^i=R{R}^{i}SS{R{R}^{i+1}}^T$，则有：
  
• 当网络很深的时候，容易发生∏Li=l+1sim$\prod _{i=l+1}^L{s}_m^i$的explode or vanish，导致最终的梯度爆炸和梯度消失。而作者的SVB能够避免这一情况的出现
• （理想的情况下，SVB能够保证各层输入对L$\mathcal{L}$的偏导后的范数和error vectorxxL$x{x}^L$对L$\mathcal{L}$的偏导后的范数一致）

与BN的兼容（BBN，Bounded Batch Normalization）

• BN引入了一个深层神经网络训练的问题：internal covariate shift（因各层输入的分布持续变化导致训练很慢），通过加入BN层能够缓解这一状况 。

• 对于一层f(zz)=f(WxWx)∈RN$f(zz)=f(WxWx)\in {\mathbb{R}}^N$，如果在**函数之前加入BN，即f(BN(zz))=f(BN(WxWx))$f(BN(zz))=f(BN(WxWx))$,其中：
  

  BN(zz)=ΓΣ(zz−μμ)+ββ$$BN(zz)=\mathrm{\Gamma }\mathrm{\Sigma }(zz-\mu \mu )+\beta \beta$$
  • (zero-mean)：μμ∈RN为层上单个神经元的输出的均值（共N个）$\mu \mu \in {\mathbb{R}}^N为层上单个神经元的输出的均值（共N个）$
  • (norm->1)：Σ∈RN×N$\mathrm{\Sigma }\in {\mathbb{R}}^{N\times N}$为对角矩阵，对角元素{1/ςi}Ni=1$\{1/{\varsigma }_i{\}}_{i=1}^N$为单个神经元输出的标准差再加一个小常数的倒数
  • (scale)：Γ∈RN×N$\mathrm{\Gamma }\in {\mathbb{R}}^{N\times N}$为包含展缩(scale)元素{γi}Ni=1$\{{\gamma }_i{\}}_{i=1}^N$的度角矩阵
  • (shift)：ββ$\beta \beta$为可训练的偏置项

• 带入z=Wxz=Wx$z=Wxz=Wx$：
  

  BN(xx)=WW˜xx+bb˜，s.t.WW˜=ΓΣWW，bb˜=ββ−ΓΣμμ$$BN(xx)=\widetilde{WW}xx+\widetilde{bb}，s.t.\widetilde{WW}=\mathrm{\Gamma }\mathrm{\Sigma }WW，\widetilde{bb}=\beta \beta -\mathrm{\Gamma }\mathrm{\Sigma }\mu \mu$$
  ，其中对角矩阵ΓΣ$\mathrm{\Gamma }\mathrm{\Sigma }$有对角元素{γi/ςi}Ni=1$\{{\gamma }_i/{\varsigma }_i{\}}_{i=1}^N$

• 由引理1：
  
  可知矩阵Γ$\mathrm{\Gamma }$和Σ$\mathrm{\Sigma }$在BN中都能够使信号在层与层的传递中分布发生改变，当对角矩阵ΓΣ$\mathrm{\Gamma }\mathrm{\Sigma }$的对角元素{γi/ςi}Ni=1$\{{\gamma }_i/{\varsigma }_i{\}}_{i=1}^N$同时偏离1比较远时，梯度爆炸/梯度弥散很容易出现了。

• 为了避免这种状况，作者打算将{γi/ςi}Ni=1$\{{\gamma }_i/{\varsigma }_i{\}}_{i=1}^N$限制在1附近，但是这样作会抹消BN的一个优点（Γ$\mathrm{\Gamma }$和β$\beta$的存在能够使得BN在特定情况下退化为近似的恒定变换（γi≈ςi${\gamma }_i\approx {\varsigma }_i$，即消除BN的作用））
• BN中，解耦出的{γi}Ni=1$\{{\gamma }_i{\}}_{i=1}^N$能够显著地提升网络的适应性，受次启发，作者再引入一个解耦参数α$\alpha$，使得SVB能够与BN算法兼容，即用{1αγi/ςi}Ni=1$\{\frac{1}{\alpha }{\gamma }_i/{\varsigma }_i{\}}_{i=1}^N$替代{γi/ςi}Ni=1$\{{\gamma }_i/{\varsigma }_i{\}}_{i=1}^N$，将{1αγi/ςi}Ni=1$\{\frac{1}{\alpha }{\gamma }_i/{\varsigma }_i{\}}_{i=1}^N$在训练过程当中限制到[1/(1+ϵ),(1+ϵ)]$[1/(1+ϵ),(1+ϵ)]$
• BBN:
  

Experiment

作者在：

• CIFAR 10
• CIFAR 100
• ImageNet

数据集上，使用

• 标准的卷积神经网络
• ResNets
• Wide ResNets

对算法SVB和BBN做了测试
（作者的实验结果表示当网络较深的时候，BBN确实表现的比普通的BN更加优秀）