XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

Abstract

本文是一篇经典的二值化weight和activations的文章，发表在ECCV2016.本文提出了两种有效二值化的框架：XNOR−Net$XNOR-Net$以及BWN$BWN$(Binary-Weight-Networks).在存储方面可以节省32倍的memory。在XNOR−Net$XNOR-Net$上weights以及卷积层的input都是二值化的。在Imagenet数据集上用Alexnet做实验得到和全精度一样的accuracy。code地址: http://allenai.org/plato/xnornet.

Binary Convolutional Neural Network

设定一个三元组<I,W,∗>$<I,W,\ast >$作为一个L$L$层的CNN框架，I=Il(l=1,...,L)$I=I_{l(l=1,...,L)}$是CNN第l$l$层的输入，W=Wlk(k=1,...,Kl)$W=W_{lk(k=1,...,K^l)}$是CNN第l$l$层第k$k$个滤波器的权重，Kl$K^l$是第l$l$层滤波器的数量，∗$\ast$代表I$I$和W$W$的卷积操作，这里原文假设卷积核没有bias。I∈Rc×win×hin$I\in {\mathbb{R}}^{c\times w_{in}\times h_{in}}$, W∈Rc×w×h$W\in {\mathbb{R}}^{c\times w\times h}$, w≤win$w\le w_{in}$,h≤hin$h\le h_{in}$.本文提出的两种架构一一介绍。

1.Binary-Weight-Networks(BWN)

本文直接给出了真实值W$W$与目标二值化的B∈{+1,−1}c×w×h$B\in \{+1,-1{\}}^{c\times w\times h}$之间的关系，用一个scaling factor α∈R+$\alpha \in {\mathbb{R}}^{+}$来联系两个weight。W≈αB$W\approx \alpha B$，一个卷积操作就可以近似为

I∗W≈(I⊕B)α(1)$$I\ast W\approx (I\oplus B)\alpha (1)$$

⊕$\oplus$代表不带任何乘法的卷积操作。由于weight是二值化的，所以可以实现一个卷积操作转化为加法和减法。用<I,B.A,⊕>$<I,B.A,\oplus >$代表二值化weight的CNN，B=Blk$B=B_{lk}$是一个二值化的filter，α=Alk$\alpha =A_{lk}$，Wlk≈AlkBlk$W_{lk}\approx A_{lk}{B}_{lk}$.

Estimating binary weights

为了让loss不失一般性，假设W,B∈Rn,n=c×w×h$W,B\in {\mathbb{R}}^n,n=c\times w\times h$都是矢量.对于W≈αB$W\approx \alpha B$，为了找到最优解，本文提出以下优化目标函数：

J(B,α)=∥W−αB∥2$$J(B,\alpha )=\Vert W-\alpha B{\Vert }^2$$

α∗,B∗=argminα,BJ(B,α)(2)$${\alpha }^{\ast },B^{\ast }=arg\underset{\alpha ,B}{min}J(B,\alpha )(2)$$

展开公式(2)：

J(B,α)=α2BTB−2αWTB+WTW(3)$$J(B,\alpha )={\alpha }^2{B}^{T}B-2\alpha W^{T}B+W^{T}W(3)$$

B∈{+1,−1}n,BTB=n$B\in \{+1,-1{\}}^n,B^{T}B=n$是一个常数。WTW$W^{T}W$也是一个常数由于W$W$是一个已经得变量，设定c=WTW$c=W^{T}W$,这样公式(3)就变为:

J(B,α)=α2n−2αWTB+c$$J(B,\alpha )={\alpha }^{2}n-2\alpha W^{T}B+c$$

.
这样求B$B$的最优解就变为以下的约束公式:

B∗=argmaxB{WTB},s.t.B∈{+1,−1}n(4)$$B^{\ast }=arg\underset{B}{max}\{W^{T}B\},s.t.B\in \{+1,-1{\}}^n(4)$$

这个最优解就是:Bi=+1ifWi≥0$B_i=+1if{W}_i\ge 0$以及Bi=−1ifWi<0$B_i=-1if{W}_i<0$.因此最优解就是:B∗=sign(W)$B^{\ast }=sign(W)$.为了找到α∗${\alpha }^{\ast }$的最优解，可以求J$J$对α$\alpha$的导数并置0得:

α∗=WTB∗n(5)$${\alpha }^{\ast }=\frac{W^T{B}^{\ast }}{n}(5)$$

带入B∗=sign(W)$B^{\ast }=sign(W)$得：

α∗=WTsign(W)n=∑|Wi|n=1n∥W∥l1(6)$${\alpha }^{\ast }=\frac{W^{T}sign(W)}{n}=\frac{\sum |W_i|}{n}=\frac{1}{n}\Vert W{\Vert }_{l1}(6)$$

Training Binary-Weights-Networks

训练CNN的每一次迭代包含三个步骤:forward pass, backward pass and parameters update.这里要注意一点:在训练二值化weight(在卷积层)的时候，只在forward pass和backward propagation的时候二值化weight。对sign(r)$sign(r)$,求导公式为∂sign∂r=r1|r|≤1$\frac{\mathrm{\partial }sign}{\mathrm{\partial }r}=r{1}_{|r|\le 1}$.weight的导数就是:∂C∂Wi=∂C∂W˜i(1n+∂sign∂Wiα)$\frac{\mathrm{\partial }C}{\mathrm{\partial }{W}_i}=\frac{\mathrm{\partial }C}{\mathrm{\partial }{\tilde{W}}_i}(\frac{1}{n}+\frac{\mathrm{\partial }sign}{\mathrm{\partial }{W}_i}\alpha )$.对于update parameters来说，用全精度的weights，因为在梯度下降时，参数改变的很小，在更新完参数时，二值化可以忽略这些改变。
算法1展示了训练二值化weight的步骤：

首先:对于每一层先计算出B和A，然后使用二值化的weight进行前向，然后在进行反向，最后更新参数。

XNOR-Network

在BWN里面，用A和B来近似表示真实值，但是卷积层的输入仍然是真实值的。

1.Binary Dot Product

近似X∈Rn$X\in {\mathbb{R}}^n$和W∈Rn$W\in {\mathbb{R}}^n$的点乘：XTW≈βHTαB$X^{T}W\approx \beta H^T\alpha B$, H,B∈{+1,−1}n$H,B\in \{+1,-1{\}}^n$, α,β∈R+$\alpha ,\beta \in {\mathbb{R}}^{+}$, 优化以下目标函数：

α∗,B∗,β∗,H∗=argminα,B,β,H∥X⊙W−βαH⊙B∥(7)$${\alpha }^{\ast },B^{\ast },{\beta }^{\ast },H^{\ast }=arg\underset{\alpha ,B,\beta ,H}{min}\Vert X\odot W-\beta \alpha H\odot B\Vert (7)$$

⊙$\odot$代表element-wise乘(对应元素相乘)。
设定Y∈Rn$Y\in {\mathbb{R}}^n$, Yi=XiWi,C∈{+1,−1}n$Y_i=X_i{W}_i,C\in \{+1,-1{\}}^n$, Ci=HiBi,γ=βα$C_i=H_i{B}_i,\gamma =\beta \alpha$.公式(7)可以重写为:

γ∗,C∗=argminγ,C∥Y−γC∥(8)$${\gamma }^{\ast },C^{\ast }=arg\underset{\gamma ,C}{min}\Vert Y-\gamma C\Vert (8)$$

根据公式(2),我们可以得到最优解:

C∗=sign(Y)=sign(X)⊙sign(W)=H∗⊙B∗(9)$$C^{\ast }=sign(Y)=sign(X)\odot sign(W)=H^{\ast }\odot B^{\ast }(9)$$

由于|Xi|$|X_i|$和|Wi|$|W_i|$是独立的，Yi=XiWi$Y_i=X_i{W}_i$，所以E[|Yi|]=E[|Xi||Wi|]=E[|Xi|]E[|Wi|]$E[|Y_i|]=E[|X_i||W_i|]=E[|X_i|]E[|W_i|]$,因此

γ∗=∑|Yi|n=|Xi||Wi|n≈(1n∥X∥l1)(1n∥W∥l1)=β∗α∗(10)$${\gamma }^{\ast }=\frac{\sum |Y_i|}{n}=\frac{|X_i||W_i|}{n}\approx (\frac{1}{n}\Vert X{\Vert }_{l1})(\frac{1}{n}\Vert W{\Vert }_{l1})={\beta }^{\ast }{\alpha }^{\ast }(10)$$

2.Binary Convolution

输入I∈Rc×win×hin$I\in {\mathbb{R}}^{c\times w_{in}\times h_{in}}$在图二中有两个sub-tensorsX1$X_1$和X2$X_2$。由于sub-tensors之间有很多重叠，导致有很多冗余的计算。为了克服这个冗余，首先计算出输入I$I$在channel的均方和，A=∑|I:,:,i|c$A=\frac{\sum |I_{:,:,i}|}{c}$, 将A$A$和一个2D的卷积核k∈Rw×h,K=A∗k，kij=1w×h,∀ij$k\in {\mathbb{R}}^{w\times h},K=A\ast k，k_{ij}=\frac{1}{w\times h},\mathrm{\forall }ij$。Kij$K_{ij}$对应位置ij$ij$处的β$\beta$， 一旦得到α$\alpha$和β$\beta$：

I∗W≈(sign(I)⊛sign(W))⊙Kα(11)$$I\ast W\approx (sign(I)⊛sign(W))\odot K\alpha (11)$$

⊛$⊛$表示一个卷积操作使用XNOR和bitcount操作。

3.Training XNOR-Networks

Fig.3 左图展示了典型的block，右图展示了XNOR-Net的block，binary activation layer(BinActiv)作用是计算出K$K$和sign(I)$sign(I)$, BinConv层中，给定K$K$和sign(I)$sign(I)$,根据公式(11),计算二值化的卷积。训练算法跟算法1一样。

4.Binary Gradient

Experiments