神经网络学习笔记-波尔兹曼(Boltzmann)机

Boltzmann机是一种反馈随机神经网络

两种输出状态，单极性0或1。输出状态的取值根据概率统计法则决定，这种概率统计法则类似Boltzmann分布，部分反馈
它在神经元状态变化中引入了统计概率，网络的平衡状态服从Boltzmann分布，网络运行机制基于模拟退火算法。
离散Hopfield神经网络+模拟退火+隐单元=Boltzman机

DHNN全反馈，转移函数：符号函数
BM机网络拓扑结构
可见节点、隐节点（不可见节点），部分反馈，对称权值，wij = wji,wii=0

神经元转移概率函数
神经元净输入为：

netj=∑i(wij−Tj)$$ne{t}_j=\sum _i(w_{ij}-T_j)$$

输出状态1的转移概率

Pj(1)=11+e−netj/T$$P_j(1)=\frac{1}{1+e^{-ne{t}_j/T}}$$

输出状态0的转移概率

Pj(0)=1−Pj(1)$$P_j(0)=1-P_j(1)$$

如果netj=0$ne{t}_j=0$，则Pj(1)=Pj(0)=11+e0=0.5$P_j(1)=P_j(0)=\frac{1}{1+e^0}=0.5$
netj$ne{t}_j$越大，Pj(1)$P_j(1)$越大;netj$ne{t}_j$越小，Pj(0)$P_j(0)$越大，单调增加
T越大曲线越平缓，越小越陡峭，T=0退化为符号函数

神经元状态概率与净输入和温度的关系
BM机能量函数与DHNN相同：

E(t)=−12XT(t)WX(t)+XT(t)T$$E(t)=-\frac{1}{2}{X}^T(t)WX(t)+X^T(t)T$$

=−12∑j=1n∑i=1nwijxixj+∑i=1nTixi$$=-\frac{1}{2}\sum _{j=1}^n\sum _{i=1}^n{w}_{ij}{x}_i{x}_j+\sum _{i=1}^n{T}_i{x}_i$$

设 BM 机按异步方式工作 ，每次第 j 个神经元改变状态 ，根据推导出的公式有：

ΔE(t)=−Δxj(t)netj(t)$$\mathrm{\Delta }E(t)=-\mathrm{\Delta }{x}_j(t)ne{t}_j(t)$$

对于 BM 机 ， 随着网络状态的演变 ， 从概率的意义上网络的能量总是朝着减小的方向变化
尽管网络能量的总趋势是向着减小的方向演变 ，但不排除在有
些步神经元状态可能会按小概率取值 ， 从而使网络能量暂时增加 。
正是因为有了这种可
能性 ， BM 机才具有了从局部极小的低谷中跳出的 “爬山”能力 ，这一点是 BM 机与
D HNN 网能量变化的根本区别 。 由于采用了神经元状态按概率随机取值的工作方式 ，
BM 机的能量具有不断跳出位置较高的低谷搜索位置较低的新低谷的能力 。 这种运行方
式称为搜索机制 ， 即网络在运行过程中不断地搜索更低的能量极小值 ， 直到达到能量的全
局最小 。
BM 机的 Boltzmann 分布
设xj=1$x_j=1$时对应的网络能量为E1$E_1$,xj=0$x_j=0$时对应的网络能量为E0$E_0$，

Pj(0)Pj(1)=e−E0/Te−E1/T$$\frac{P_j(0)}{P_j(1)}=\frac{e^{-E_0/T}}{e^{-E_1/T}}$$