神经网络学习笔记

神经网络

神经元模型

M-P神经元模型

在这个模型中， 神经元接 收到来自 η 个其他神经元传递过来的输入信号?这些输入信号通过带权重的连 接(connection)进行传递，神经元接收到的总输入值将与神经元的阀值进行比较，然后通过"**函数" (activation function) 处理以产生神经元的输出.

**函数

1. 阶跃函数 sgn
   将输入值映射为输出值 “0” 或"1". “1” 对应于神经元兴奋， “0” 对应于神经元抑制.然而，阶跃函数具有不连续、不光滑等不太好的性质。，因此实际常用 Sigmoid 函数作为**函数。
2. 挤压函数 sigmoid
   把可能在较大 范围内变化的输入值挤压到 (0， 1) 输出值范围 内

感知机与多层网络

感知机由两层神经元组成， 如图 5.3 所示，输入层接收外界输入信号后传递给输出层，输出 层是 M-P 神经元，亦称"阔值逻辑单元" .

每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接. 这样的神经网络结构通常称为"多层前馈神经网络" 。其中输入层神经仅接收外界输入，隐层与输出层神经元对信号进行加工，最终结果由输出层神经元输出。换言之，输入层神经元仅是接受输入，不进行函数处理，隐居与输出层包含功能神经元.

误差逆传播算法（BP算法）

上图给出了一个拥有 d 个输入神经元、 l 个输出神 经元、 q 个隐层神经元的多层前馈网络结构，其中输出层第 j 个神经元的阀值 用$\theta_j$θj​ 表示，隐层第 h 个神经元的阔值用 $\gamma_h$γh​ 表示.输入层第 t 个神经元与隐居第 h 个神经元之间的连接权为 $v_{ih}$vih​，隐层第 h 个神经元与输出层第 j 个神经元之间 的连接权为 $ω_{hj}$ωhj​. 记隐层第 h 个神经元接收到的输入为$\alpha_h=\sum_{i=1}^d v_{ih}x_i$αh​=∑i=1d​vih​xi​， 输出 层第 j 个神经元接收到的输入为$\beta_j=\sum_{h=1}^q ω_{hj}b_h$βj​=∑h=1q​ωhj​bh​， 其中$b_h$bh​ 为隐层第 h 个神经元的输出。
对于训练样例（$x_k,y_k$xk​,yk​），假定神经网络输出为$\hat{y}_k = (\hat{y}_1^k ,\hat{y}_2^k,...,\hat{y}_l^k)$y^​k​=(y^​1k​,y^​2k​,...,y^​lk​),即$\hat{y}_j^k=f(\beta_j-\theta_j)$y^​jk​=f(βj​−θj​)
起均方误差为：

网络中有 (d + l 十 1) q 十 l个参数需确定:输入层到隐层的 d xq 个权值、 隐层到输出层的 q x l 个权值、q 个隐层神经元的阔值、l个输出层神 经元的阔值. BP 是一个法代学习算法，在迭代的每一轮中采用广义的感知机学 习规则对参数进行更新估计。
BP 算法基于梯度下降策略， 以目标的负梯度方向对参数进行调整. 对式误差 $E_k$Ek​， 给定学习率 η，有:

其中$\frac{\partial{E_k}}{\partial{ω_{hj}}}$∂ωhj​∂Ek​​可以表示为

由$\beta_j$βj​的定义可知 $\frac{\partial{\beta_j}}{\partial{ω_{hj}}} = b_h$∂ωhj​∂βj​​=bh​，且sigmoid函数的性质$f^{'}(x) =f(x)(1-f(x))$f′(x)=f(x)(1−f(x))，有
将上述公式代入得到了BP 算法中关于$ω_{hj}$ωhj​的更新公式
$\Delta ω_{hj} =\eta g_jb_h$Δωhj​=ηgj​bh​
类似可以得到
$\Delta\theta_{j} =-\eta g_j \qquad，\\ \Delta v_{ih}=\eta e_hx_i \qquad，\\ \Delta \gamma_h = -\eta e_h \qquad，$Δθj​=−ηgj​，Δvih​=ηeh​xi​，Δγh​=−ηeh​，

具体流程如下图所示：

其他常见神经网络

RBF网络

RBF(径向基函数)网络是一种单隐层前馈神经网络，它使用径向基函数作为隐层神经元**函数，而输出层则是对隐层神经元输出的线性组合.假定输入为 d 维向量$x$x,输出为实值, 则 RBF 网络可表示为

通常采用两步过程来训练 RBF 网络:第一步，确定神经元中心 $c_i$ci​， 常用的方式包括随机采样、聚类等;第二步，利用BP算法等来确定参数叫$ω_i$ωi​和$\beta _i$βi​.

SOM网络

SOM(Self-Organizing Map，自组织映射)网络是一种竞争学习型的无监督神经网络，能将高维输入数据映射到低维空间(通常为二 维)，同时保持输入数据在高维空间的拓扑结构，即将高维空间中相似的样本点 映射到网络输出层中的邻近神经元.
SOM 的训练过程很简单:在接收到一个训练样本后.每个输出层神经局会 计算该样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元. 然后，最佳匹配单元及其邻近神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小.这个过程不断迭代，直至收敛.