神经网络学习笔记-受限波尔兹曼机（Restricted Boltzmann Machines）

受限波尔兹曼机（Restricted Boltzmann Machines,RBM）是一类具有两层结构，对称连接且无自反馈的随机神经网络模型，层间全连接，层内无连接。
当给定可见层神经元的状态时，各隐藏层神经元的之间是否**是条件独立的；反之也同样成立。

基于能量模型。Hinton提出针对其的训练算法(对比散度算法)
实践证明，RBM是一种有效的特征提取方法，用于初始化前馈神经网络可明显提高泛化能力，堆叠多个RBM组成的DBN能提取更抽象的特征。
利用RBM的堆叠可以构造出深层的神经网络模型——深度信念网(Deep Belief Net, DBN)
每个节点都是一个二值的随机变量

隐藏层的神经元的个数为nh$n_h$，
隐藏层神经元的状态h=(h1,h2,...,hnh)T∈Rnh$h=(h_1,h_2,...,h_{n_h}{)}^T\in R^{n_h}$
隐藏层神经元的偏置b=(b1,b2,...,bnh)T∈Rnh$b=(b_1,b_2,...,b_{n_h}{)}^T\in R^{n_h}$

假设可见层的神经元的个数为nv$n_v$，
可见层神经元的状态v=(v1,v2,...,vnv)T∈Rnv$v=(v_1,v_2,...,v_{n_v}{)}^T\in R^{n_v}$,
可见层神经元的偏置a=(a1,a2,...,anv)T∈Rnv$a=(a_1,a_2,...,a_{n_v}{)}^T\in R^{n_v}$,

隐藏层与可见层之间的连接权重W=(wij)∈Rnh×nv$W=(w_{ij})\in R^{n_h\times n_v}$

网络参数θ=(W,a,b)$\theta =(W,a,b)$

联合组态的能量公式

Eθ(v,h)=−∑i=1nvaivi−∑j=1nhbjhj−∑i=1nv∑j=1nhhjwijvi$$E_{\theta }(v,h)=-\sum _{i=1}^{n_v}{a}_i{v}_i-\sum _{j=1}^{n_h}{b}_j{h}_j-\sum _{i=1}^{n_v}\sum _{j=1}^{n_h}{h}_j{w}_{ij}{v}_i$$

联合概率分布:

Pθ(v,h)=−Eθ(v,h)∑v,h−Eθ(v,h)=−Eθ(v,h)Zθ$$P_{\theta }(v,h)=\frac{-E_{\theta }(v,h)}{\sum _{v,h}-E_{\theta }(v,h)}=\frac{-E_{\theta }(v,h)}{Z_{\theta }}$$

Zθ$Z_{\theta }$为归一化因子
边缘概率分布：

Pθ(v)=∑hPθ(v,h)=∑h−Eθ(v,h)Zθ$$P_{\theta }(v)=\sum _h{P}_{\theta }(v,h)=\frac{\sum _h-E_{\theta }(v,h)}{Z_{\theta }}$$

Pθ(h)=∑vPθ(v,h)=∑v−Eθ(v,h)Zθ$$P_{\theta }(h)=\sum _v{P}_{\theta }(v,h)=\frac{\sum _v-E_{\theta }(v,h)}{Z_{\theta }}$$

当给定可见层的状态时，隐藏层上的某一个神经元被**的概率，即P(hk=1|v)$P(h_k=1|v)$
当给定了隐藏层的状态时，可见层上的某一神经元被**的概率，即P(vk=1|h)$P(v_k=1|h)$
h$h$中去除了分量hk$h_k$后的向量

h−k=(h1,h2,...,hk−1,hk+1,...,hnh)T$$h_{-k}=(h_1,h2,...,h_{k-1},h_{k+1},...,h_{n_h}{)}^T$$

Eθ(v,h)=−∑i=1nvaivi−∑j=1nhbjhj−∑i=1nv∑j=1nhhjwijvi$$E_{\theta }(v,h)=-\sum _{i=1}^{n_v}{a}_i{v}_i-\sum _{j=1}^{n_h}{b}_j{h}_j-\sum _{i=1}^{n_v}\sum _{j=1}^{n_h}{h}_j{w}_{ij}{v}_i$$

=−β(v,h−k)−hkαk(v)$$=-\beta (v,h_{-k})-h_k{\alpha }_k(v)$$

αk(v)=bk+∑i=1nvwkivi$${\alpha }_k(v)=b_k+\sum _{i=1}^{n_v}{w}_{ki}{v}_i$$

P(hk=1|v)=11+e−αk(v)$$P(h_k=1|v)=\frac{1}{1+e^{-{\alpha }_k(v)}}$$

=Sigmoid(αk(v))$$=Sigmoid({\alpha }_k(v))$$

=Sigmoid(bk+∑i=1nvwkivi)$$=Sigmoid(b_k+\sum _{i=1}^{n_v}{w}_{ki}{v}_i)$$

同理，可以求得当给定了隐藏层的状态时，可见层上的某一神经元被**的概率

P(vk=1|h)=11+e−αk(h)$$P(v_k=1|h)=\frac{1}{1+e^{-{\alpha }_k(h)}}$$

=Sigmoid(αk(h))$$=Sigmoid({\alpha }_k(h))$$

=Sigmoid(ak+∑j=1nhwkjhj)$$=Sigmoid(a_k+\sum _{j=1}^{n_h}{w}_{kj}{h}_j)$$

对于RBM模型，其参数主要是可见层和隐藏层之间的权重，可见层的偏置以及隐藏层的偏置，即θ=(W,a,b)，对于给定的训练样本，通过训练得到参数θ，使得在该参数下，由RBM表示的概率分布尽可能与训练数据相符合
设训练集X={v1,v2,...,vns}$X=\{v^1,v^2,...,v^{n_s}\}$
训练RBM的目标就是最大化如下的似然函数

Lθ=∏i=1nsP(vi)$$L_{\theta }=\prod _{i=1}^{n_s}P(v^i)$$

lnLθ=ln∏i=1nsP(vi)=∑i=1nslnP(vi)$$ln{L}_{\theta }=ln\prod _{i=1}^{n_s}P(v^i)=\sum _{i=1}^{n_s}lnP(v^i)$$