详解BP神经网络

BackPropagation Neuron NetWok

  BP神经网络学习算法可以说是目前最成功的神经网络学习算法。显示任务中使用神经网络时，大多数是使用BP算法进行训练.
  在我看来BP神经网络就是一个”万能的模型+误差修正函数“，每次根据训练得到的结果与预想结果进行误差分析，进而修改权值和阈值，一步一步得到能输出和预想结果一致的模型。举一个例子：比如某厂商生产一种产品，投放到市场之后得到了消费者的反馈，根据消费者的反馈，厂商对产品进一步升级，优化，从而生产出让消费者更满意的产品。这就是BP神经网络的核心。
  下面就让我们来看看BP算法到底是什么东西。BP网络由输入层、隐藏层、输出层组成。给定训练集D={(x₁,y₁),(x₂,y₂…(x_n,y_n)},其中x_nϵR^d，y_nϵR^l,表示输入示例由d个属性组成，输出l维实值变量。现在，我们看看如何求得输出值，以及怎么由输出值调整权值和阈值。
       
   神经元是以生物研究及大脑的响应机制而建立的拓扑结构网络，模拟神经冲突的过程，多个树突的末端接受外部信号，并传输给神经元处理融合，最后通过轴突将神经传给其它神经元或者效应器。神经元的拓扑结构如图：
             

  对于第i个神经元，X₁、X₂、…、X_j为神经元的输入，输入常为对系统模型关键影响的自变量，W₁、W₂、…、W_j为连接权值调节各个输入量的占重比。将信号结合输入到神经元有多种方式，选取最便捷的线性加权求和可得neti神经元净输入:

Netin=∑i=1nwi∗xi$$Ne{t}_{in}=\sum _{i=1}^n{w}_i\ast x_i$$

  θ$\theta$_i表示该神经元的阈值，根据生物学中的知识，只有当神经元接收到的信息达到阈值是才会被**。因此，我们将Netin$Ne{t}_{in}$和θj${\theta }_j$进行比较，然后通过**函数处理以产生神经元的输出。
  **函数：**函数这里我们不多重述。如果输出值有一定的范围约束，比如用来分类，一般我们用的最多的是Sigmod函数，它可以把输入从负无穷大到正无穷大的信号变换成0到1之间输出。如果没有约束的话，我们可以使用线性**函数(即权值相乘之和)。这样我们得到的输出为：

yj=f(Netin−θj)$$y_j=f(Ne{t}_{in}-{\theta }_j)$$

  我们可以将公式化简一下，设第一个输入永远值为θ$\theta$,权值为-1，则我们可以得到公式：

yj=f(∑i=0nwi∗xi)$$y_j=f(\sum _{i=0}^n{w}_i\ast x_i)$$

  其中w₀=-1,x₀=θ$\theta$_j,其中f为选择的**函数。
  已经知道在BP神经网络模型中，我们有三层结构，输入层、隐藏层、输出层,因此输入层到隐藏层的权值，设为vih$v_{ih}$,隐藏层第h个神经元的阈值我们设为γh${\gamma }_h$。隐藏层到输出层的权值，设为whj$w_{hj}$,输出层第j个神经元的阈值我们用θj${\theta }_j$表示。在下面这张图里，有d输入神经元,q个隐藏神经元，隐藏有q个隐藏神经元阈值，l$l$个输出神经元，因此有l$l$个输出神经元阈值。

  其中βj${\beta }_j$中的bh=f(αh−θh)$b_h=f({\alpha }_h-{\theta }_h)$。隐藏层和输出层的**函数，在这里我们暂时全部用Sigmod$Sigmod$函数。
  在某个训练示例(xk,yk)$(x_k,y_k)$中，假设神经网络的训练输出为yk,=(yk,1,yk,2,⋯,yk,l)$y_{k^{,}}=(y_1^{k^{,}},y_2^{k^{,}},\cdots ,y_l^{k^{,}})$,输出为l$l$维向量，其中

yk,i=f(βi−θi)$$y_i^{k^{,}}=f({\beta }_i-{\theta }_i)$$

  那么这次预测结果的误差我们可以用最小二乘法表示：

Ek=12∑j=1l(yk,j−ykj)2$$E_k=\frac{1}{2}\sum _{j=1}^l(y_j^{k^{,}}-y_j^k{)}^2$$

  而我们现在要做的就是根据这个误差去调整（d+l+1）q+l$（d+l+1）q+l$个参数的值，一步一步缩小Ek$E_k$。那么从现在开始，我们就要进入数学的世界了。这里我们使用最常用的算法：梯度下降法来更新参数。函数永远是沿着梯度的方向变化最快，那么我们对每一个需要调整的参数求偏导数，如果偏导数>0,则要按照偏导数相反的方向变化；如果偏导数<0，则按照此方向变化即可。于是我们使用-1*偏导数则可以得到参数需要变化的值。同时我们设定一个学习速率η$\eta$，这个学习速率不能太快，也不能太慢。太快可能会导致越过最优解；太慢可能会降低算法的效率。(具体设多少就属于玄学调参的领域了)。因此我们可以得到一个参数调整公式：

Param+=−η∂Ek∂Param$$Param+=-\eta \frac{\mathrm{\partial }{E}_k}{\mathrm{\partial }Param}$$

  首先我们看看隐藏层到输出层的权值调整值：

Δwhj=−η∂Ek∂whj$$\mathrm{\Delta }{w}_{hj}=-\eta \frac{\mathrm{\partial }{E}_k}{\mathrm{\partial }{w}_{hj}}$$

  好，我们从上到下缕一缕这个偏导该怎么求，我们把每一个公式都罗列出来：

  1.输出层到隐藏层：

αh=∑i=1dvih∗xi⋯⋯⋯⋯⋯⋯⋯(1)$${\alpha }_h=\sum _{i=1}^d{v}_{ih}\ast x_i\cdots \cdots \cdots \cdots \cdots \cdots \cdots (1)$$

|x1x2x3⋯xd|⋅∣∣∣∣∣∣∣∣∣v11v21⋅⋅⋅vd1v12v22⋅⋅⋅wd2v13v23⋅⋅⋅wd3⋯⋯⋅⋅⋅⋯v1qw2q⋅⋅⋅wdq∣∣∣∣∣∣∣∣∣$$\left|\begin{array}{ccccc}{x}_1& x_2& x_3& \cdots & x_d\end{array}\right|\cdot \left|\begin{array}{ccccc}{v}_{11}& v_{12}& v_{13}& \cdots & v_{1q}\\ v_{21}& v_{22}& v_{23}& \cdots & w_{2q}\\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ v_{d1}& w_{d2}& w_{d3}& \cdots & w_{dq}\end{array}\right|$$

  2.经过隐藏层的**函数：

bh=f(αh−γh)⋯⋯⋯⋯⋯⋯⋯(2)$$b_h=f({\alpha }_h-{\gamma }_h)\cdots \cdots \cdots \cdots \cdots \cdots \cdots (2)$$

  3.隐藏层到输出层：

βj=∑h=1qwhj∗bh⋯⋯⋯⋯⋯⋯⋯(3)$${\beta }_j=\sum _{h=1}^q{w}_{hj}\ast b_h\cdots \cdots \cdots \cdots \cdots \cdots \cdots (3)$$

  用矩阵表示

|b1b2b3⋯bq|⋅∣∣∣∣∣∣∣∣∣w11w21⋅⋅⋅wq1w12w22⋅⋅⋅wq2w13w23⋅⋅⋅wq3⋯⋯⋅⋅⋅⋯w1lw2l⋅⋅⋅wql∣∣∣∣∣∣∣∣∣$$\left|\begin{array}{ccccc}{b}_1& b_2& b_3& \cdots & b_q\end{array}\right|\cdot \left|\begin{array}{ccccc}{w}_{11}& w_{12}& w_{13}& \cdots & w_{1l}\\ w_{21}& w_{22}& w_{23}& \cdots & w_{2l}\\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ w_{q1}& w_{q2}& w_{q3}& \cdots & w_{ql}\end{array}\right|$$

  4.经过输出层的**函数：

yk,j=f(βj−θj)⋯⋯⋯⋯⋯⋯⋯(4))$$y_j^{k^{,}}=f({\beta }_j-{\theta }_j)\cdots \cdots \cdots \cdots \cdots \cdots \cdots (4))$$

  5.误差：

Ek=12∑j=1l(yk,j−ykj)2⋯⋯⋯⋯⋯⋯⋯(5)$$E_k=\frac{1}{2}\sum _{j=1}^l(y_j^{k^{,}}-y_j^k{)}^2\cdots \cdots \cdots \cdots \cdots \cdots \cdots (5)$$

  综上我们可以得知whj$w_{hj}$先影响βj${\beta }_j$,再影响yk,j$y_j^{k^{,}}$,最后影响Ek$E_k$,(一个w$w$权值只会影响一个β$\beta$)所以我们可得：

Δwhj=−η∂Ek∂whj=−η∂Ek∂yk,j⋅∂yk,j∂βj⋅∂βj∂whj⋯(6)$$\mathrm{\Delta }{w}_{hj}=-\eta \frac{\mathrm{\partial }{E}_k}{\mathrm{\partial }{w}_{hj}}=-\eta \frac{\mathrm{\partial }{E}_k}{\mathrm{\partial }{y}_j^{k^{,}}}\cdot \frac{\mathrm{\partial }{y}_j^{k^{,}}}{\mathrm{\partial }{\beta }_j}\cdot \frac{\mathrm{\partial }{\beta }_j}{\mathrm{\partial }{w}_{hj}}\cdots (6)$$

其中∂βj∂whj=bh$\frac{\mathrm{\partial }{\beta }_j}{\mathrm{\partial }{w}_{hj}}=b_h$,前面提到过，bh$b_h$是第h个隐藏神经元的输出。

gj=∂Ek∂yk,j⋅∂yk,j∂βj=(yk,j−ykj)⋅f′(βj−θj)⋯(7)$$g_j=\frac{\mathrm{\partial }{E}_k}{\mathrm{\partial }{y}_j^{k^{,}}}\cdot \frac{\mathrm{\partial }{y}_j^{k^{,}}}{\mathrm{\partial }{\beta }_j}=(y_j^{k^{,}}-y_j^k)\cdot f^{{}^{\prime }}({\beta }_j-{\theta }_j)\cdots (7)$$

  而我们选择的**函数是Sigmod$Sigmod$函数，该函数具有一个很好的性质

f(x)=11+e−x⋯f′(x)=f(x)(1−f(x))⋯(8)$$f(x)=\frac{1}{1+e^{-x}}\cdots f^{{}^{\prime }}(x)=f(x)(1-f(x))\cdots (8)$$

  所以我们有：

f′(βj−θj)=f(βj−θj)⋅(1−f(βj−θj))=yk′j⋅(1−yk′j)⋯(9)$$f^{{}^{\prime }}({\beta }_j-{\theta }_j)=f({\beta }_j-{\theta }_j)\cdot (1-f({\beta }_j-{\theta }_j))=y_j^{k^{{}^{\prime }}}\cdot (1-y_j^{k^{{}^{\prime }}})\cdots (9)$$

  综合formula(6)(7)(9)$formula(6)(7)(9)$我们可得：

Δwhj=−η∂Ek∂whj=−ηgibh=−η(yk′j−ykj)⋅yk′j⋅(1−yk′j)⋅bh⋯(10)$$\mathrm{\Delta }{w}_{hj}=-\eta \frac{\mathrm{\partial }{E}_k}{\mathrm{\partial }{w}_{hj}}=-\eta g_i{b}_h=-\eta (y_j^{k^{{}^{\prime }}}-y_j^k)\cdot y_j^{k^{{}^{\prime }}}\cdot (1-y_j^{k^{{}^{\prime }}})\cdot b_h\cdots (10)$$

  同理：

Δθj=−η∂Ek∂θj=−η∂Ek∂yk′j⋅∂yk′j∂θj=η⋅gj⋯(11)$$\mathrm{\Delta }{\theta }_j=-\eta \frac{\mathrm{\partial }{E}_k}{\mathrm{\partial }{\theta }_j}=-\eta \frac{\mathrm{\partial }{E}_k}{\mathrm{\partial }{y}_j^{k^{{}^{\prime }}}}\cdot \frac{\mathrm{\partial }{y}_j^{k^{{}^{\prime }}}}{\mathrm{\partial }{\theta }_j}=\eta \cdot g_j\cdots (11)$$

  我们再看看Δvih$\mathrm{\Delta }{v}_{ih}$的值怎么求，还是由formula(1),(2),(3),(4),(5)$formula(1),(2),(3),(4),(5)$推导，一个v$v$权值会影响所有的β$\beta$

Δvih=−ηehxi⋯⋯⋯⋯(12)$$\mathrm{\Delta }{v}_{ih}=-\eta e_h{x}_i\cdots \cdots \cdots \cdots (12)$$

Δγh=ηeh⋯⋯ ⋯(13)$$\mathrm{\Delta }{\gamma }_h=\eta e_h\cdots \cdots \cdots (13)$$

  其中

eh=（∑j=1l∂Ek∂βj⋅∂βj∂bj）⋅f′(αh−γh)=(∑j=1l(yk,j−ykj)⋅f′(βj−θj)⋅whj)⋅f′(αh−γh)⋯⋯⋯(14)$$e_h=（\sum _{j=1}^l\frac{\mathrm{\partial }{E}_k}{\mathrm{\partial }{\beta }_j}\cdot \frac{\mathrm{\partial }{\beta }_j}{\mathrm{\partial }{b}_j}）\cdot f^{{}^{\prime }}({\alpha }_h-{\gamma }_h)=(\sum _{j=1}^l(y_j^{k^{,}}-y_j^k)\cdot f^{{}^{\prime }}({\beta }_j-{\theta }_j)\cdot w_{hj})\cdot f^{{}^{\prime }}({\alpha }_h-{\gamma }_h)\cdots \cdots \cdots (14)$$

  至此，我们所有得公式都推导完毕了，剩下做的就是设定一个迭代终止条件，可以是误差小于一定值时终止递归，也可以是设定迭代次数。这样一个BP神经网络模型就算是设计结束。

  java实现代码和实验数据在我的github上面