From Hashing to CNNs: Training Binary Weight Networks via Hashing

Abstract

本文在二值化权重(BWN)方面做出了创新，发表在AAAI2018上，作者是自动化所程建团队。本文的主要贡献是提出了一个新的训练BWN的方法，揭示了哈希与BW(Binary Weights)之间的关联，表明训练BWN的方法在本质上可以当做一个哈希问题。基于这个方法，本文还提出了一种交替更新的方法来有效的学习hash codes而不是直接学习Weights。在小数据和大数据集上表现的比之前的方法要好。

主要贡献

• 本文揭示了保持内积哈希与BWN之间的紧密关联。
• 为了减轻用哈希方法所带来的loss，本文将binary codes乘以了一个scaling factor并用交替优化的策略来更新binary codes以及factor。
• 在Cifar10,Cifar100以及ImageNet上实验，本文提出的BWNH方法比之前方法要好。

Inner-product preserving hashing

保留内积哈希方法是沈老师团队在15年ICCV上提出的，方法是给定两个点集X∈RS×M$X\in {\mathbb{R}}^{S\times M}$和W∈RS×N$W\in {\mathbb{R}}^{S\times N}$， Xi∈RS×1$X_i\in {\mathbb{R}}^{S\times 1}$以及Wi∈RS×1$W_i\in {\mathbb{R}}^{S\times 1}$分别代表向量X$X$和W$W$的第i$i$个点，记作向量X$X$和W$W$的内积相似性(inner-product similarity)为S∈RM×N$S\in {\mathbb{R}}^{M\times N}$。则目标函数变为:

min∥S−h(X)Tg(W)∥2F(1)$$min\Vert S-h(X{)}^{T}g(W){\Vert }_F^2(1)$$

h(⋅)$h(\cdot )$与g(⋅)$g(\cdot )$表示的是向量X$X$和W$W$的哈希函数。

哈希与BWN之间的关联

假设有一个L层pre-trained CNN model，X∈RS×M$X\in {\mathbb{R}}^{S\times M}$是第L$L$层的input feature map.记作第L$L$层的权重的真实值为W∈RS×N$W\in {\mathbb{R}}^{S\times N}$，目标是得到二进制的weighs B∈{−1,+1}S×N$B\in \{-1,+1{\}}^{S\times N}$,天真的想法可能就是直接优化二者的差:

minL(B)=∥W−B∥2Fs.t.B∈{+1,−1}S×N(2)$$minL(B)=\Vert W-B{\Vert }_F^{2}s.t.B\in \{+1,-1{\}}^{S\times N}(2)$$

优化上式的解就是B=sign(W)$B=sign(W)$.直接来优化W$W$会导致accuracy的严重下降。这时我们可以优化内积相似性的quantiztion error:

minL(B)=∥XTW−XTB∥2Fs.t.B∈{+1,−1}S×N(3)$$minL(B)=\Vert X^{T}W-X^{T}B{\Vert }_F^{2}s.t.B\in \{+1,-1{\}}^{S\times N}(3)$$

我们可以发现公式(3)$(3)$和公式(1)$(1)$很相似，令S=XTW,B=g(W),h(X)=X$S=X^{T}W,B=g(W),h(X)=X$,这时两个等式是一致的。换句话说，训练一个二值化网络(BWN)本质上就转化称为了一个哈希问题。由于h(X)=X$h(X)=X$是一个确定的公式，所以不用学习X$X$的哈希codes。这可以用在哈希空间的ACD(asmmetric distances calculation)方法来实现。
其实公式(3)$(3)$有时候仍然会导致accuracy的下降(原因?)。本文采用了在每个hashing codes Bi$B_i$上乘以一个scaling factor：g(W)=BA$g(W)=BA$，A$A$是一个对角矩阵,αi=Aii${\alpha }_i=A_{ii}$对应Bi$B_i$的scaling因子，这样目标函数就变为：

minL(A,B)=∥S−XTBA∥2F=∑iN∥Si−αi⋅XTBi∥2F(5)$$minL(A,B)=\Vert S-X^{T}BA{\Vert }_F^2=\sum _i^N\Vert S_i-{\alpha }_i\cdot X^T{B}_i{\Vert }_F^2(5)$$

S=XTW,Si∈RM×1$S=X^{T}W,S_i\in {\mathbb{R}}^{M\times 1}$是向量S$S$的第i$i$列向量。等式(5)$(5)$又可以分为N个独立子问题:

minLi(ai,Bi)=∥Si−αi⋅XTBi∥2Fs.t.Bi∈{+1,−1}S×1(6)$$min{L}_i(a_i,B_i)=\Vert S_i-{\alpha }_i\cdot X^T{B}_i{\Vert }_F^{2}s.t.B_i\in \{+1,-1{\}}^{S\times 1}(6)$$

这里本文也采用交替更新的策略来求解公式(6)$(6)$.更新Bi$B_i$，固定αi${\alpha }_i$；反之亦然。
首先初始化Bi$B_i$和αi${\alpha }_i$，Bi=sign(Wi)$B_i=sign(W_i)$，对于αi${\alpha }_i$，用Wi$W_i$的平均L1范数来初始化。
然后更新αi${\alpha }_i$固定Bi$B_i$,对公式(6)$(6)$进行展开，

minLi(αi)=const+α2i∥XTBi∥2F−2αiSTiXTBi(7)$$min{L}_i({\alpha }_i)=const+{\alpha }_i^2\Vert X^T{B}_i{\Vert }_F^2-2{\alpha }_i{S}_i^T{X}^T{B}_i(7)$$

对αi${\alpha }_i$进行求导，∂Li(αi)∂αi$\frac{\mathrm{\partial }{L}_i({\alpha }_i)}{\mathrm{\partial }{\alpha }_i}$=2αi∥XTBi∥2F−2STiXTBi(8)$=2{\alpha }_i\Vert X^T{B}_i{\Vert }_F^2-2S_i^T{X}^T{B}_i(8)$令其等于0，则αi${\alpha }_i$的解为

αi=STiXTBi∥XTBi∥2F(9)$${\alpha }_i=\frac{S_i^T{X}^T{B}_i}{\Vert X^T{B}_i{\Vert }_F^2}(9)$$

最后更新Bi固定αi$B_i固定{\alpha }_i$,对公式(6)$(6)$进行展开，

minLi(Bi)=const+∥ZTBi∥2F−2Tr(BTiq)s.t.Bi∈{+1,−1}S×1(10)$$min{L}_i(B_i)=const+\Vert Z^T{B}_i{\Vert }_F^2-2Tr(B_i^{T}q)s.t.B_i\in \{+1,-1{\}}^{S\times 1}(10)$$

在这里Z=α⋅X$Z=\alpha \cdot X$,Tr()$Tr()$是矩阵的迹，q=α⋅XSi$q=\alpha \cdot X{S}_i$.这里公式(10)$(10)$可以用15年沈老师团队在CVPR上提出DCC(discrete cyclic coordinate descent)离散循环梯度下降方法来解决。
DCC算法的推导可以参考http://jikaichen.com/2016/05/31/notes-on-sdh/这篇博客。
大致算法就是:令b$b$为Bi$B_i$的第j$j$个元素，而B′i$B_i^{\prime }$是列向量Bi$B_i$除了b$b$的剩下的元素。类似的，记作qj$q_j$是q$q$的第j$j$行的元素，q′$q^{\prime }$是q$q$除了qj$q_j$剩下的元素；vT$v^T$是矩阵Z$Z$的第j$j$行以及Z′$Z^{\prime }$是除了vT$v^T$剩下的元素。则公式(10)$(10)$就变为:

min(B′TiZ′v−qj)bs.t.b∈{+1,−1}(11)$$min(B_i^{\prime T}{Z}^{\prime }v-q_j)bs.t.b\in \{+1,-1\}(11)$$

这样我们可以得到Bi$B_i$的第j$j$个元素的解：

b=sign(qj−B′TiZ′v)(12)$$b=sign(q_j-B_i^{\prime T}{Z}^{\prime }v)(12)$$

通过使用这种方法，通过固定Bi$B_i$的其他S−1$S-1$个元素，Bi$B_i$的每一个元素都可以被更新。
这种方法理论上是收敛的，实验结果也证明算法经过很少的迭代就可以收敛，下图展示了不同CNN model的收敛情况，可以看出在很少的迭代次数下就收敛了。

Layer-wise optimization

由于本文提出的交替优化binary weight策略是一层一层优化的，这样下来量化误差会层与层累加。这是因为量化第l$l$层会导致第l$l$层的输出的量化误差，而第l$l$层的输出正是第l+1$l+1$层的输入，因此也就间接导致了第l+1$l+1$层的优化。
本文采用Wu等人在QCNN中提出的training shceme.假设有一个pre-trainedL$L$层的CNN model和一个第l$l$层被二值化的CNN model，记作第l+1$l+1$层的输入分别为Xl+1$X^{l+1}$以及X˜l+1${\tilde{X}}^{l+1}$.则目标函数将变为:

minL(A,B)=∥(Xl+1)TWl+1−(X˜l+1)TBl+1Al+1∥2F=∥Sl+1−(X˜l+1)TBl+1Al+1∥2F(13)$$minL(A,B)=\Vert (X^{l+1}{)}^T{W}^{l+1}-({\tilde{X}}^{l+1}{)}^T{B}^{l+1}{A}^{l+1}{\Vert }_F^2=\Vert S^{l+1}-({\tilde{X}}^{l+1}{)}^T{B}^{l+1}{A}^{l+1}{\Vert }_F^2(13)$$

目标相似性矩阵Sl+1$S^{l+1}$可以通过Xl+1$X^{l+1}$和Wl+1$W^{l+1}$计算出来，真实相似性通过X˜l+1${\tilde{X}}^{l+1}$和binary codesBl+1$B^{l+1}$所得到。因此通过这样一个层与层的training框架，quantization error可以被避免。

The While Training Scheme

这里就是量化完二值化weights，之后会有一个fine-tune的过程。

Experiments

以上分别是VGG-9,Alexnet以及ResNet-18的结果，比当前BWN方法都好。

上图表明本文提出的BWNH方法没有fine-tuning的情况下依然accuracy很高，当然fine-tuning会提高accuracy。

The Effect of Scaling Factor

上图展示了scaling factor的作用，可以看出scaling factor非常重要，没有scaling factor网络的accuracy会下降的非常严重，而且会很快的下降到很低，本文将scaling factor融合到了BN层在前向传播的时候，这就不会带来额外的存储。还有一点就是通过上图可以发现优化完conv2会比优化conv1的accuracy高，This is because the binary weights in conv2 compensates the accuracy drop by adapting to the input featuremaps generated by binary weights in conv1.
本文只对weights进行二值化，并没有对featuremaps进行二值化，这也是一个研究点。