【小知识】浅析深度信念网络DBN

首先我们明确机器学习的任务：将经典的统计学演化为人工智能。

经典统计学：

1. 处理低维数据（100维以下）；
   

2. 数据被大量噪声污染；
   

3. 数据不存在复杂的结构形式，一般可以用非常简单的模型建模；
   

4. 主要问题是从噪声中寻找到真实的数据结构。
   

人工智能：

1. 处理高维数据（100维以上）；
   

2. 如果处理方法正确的话，噪声不足以影响数据的结构形式；
   

3. 数据中存在非常复杂的结构形式，不可能用简单的模型予以表示；
   

4. 主要问题是通过学习寻找到一种可以表示数据复杂结构的方法。
   

第一代神经网络

感知器（~1960年），具有一层手动编码特征的网络，试图通过对特征的加权识别物体。

第二代神经网络

后向传播误差（~1985）的引入使得多层复杂神经网络的实现成为可能

Vapnik和他的同事开发了一种非常聪明的感知器，称为支持向量机。20世纪90年代，由于支持向量机工作性能较好，许多研究者放弃了具有多个自适应隐藏层的神经网络。这在某个方面直接导致神经网络的发展停滞不前。

后向传播虽然解决了多层神经网络中隐藏层的输出误差计算问题，但也带来了新问题。

1. 它要求几乎所有的训练数据都进行标识；
   

2. 当具有多个隐藏层时，学习速度可能会很慢；
   

3. 有可能收敛到很差的局部最优点。
   

深度信念网络也许是解决以上问题的一种可行方案。

信念网络是由随机变量组成的有向非循环图。

我们通过观察其中的一些变量，以解决以下两个问题：

1. 推断问题：推断未观测变量的状态；
   

2. 学习问题：调整变量之间的相互作用关系，使得网络更有可能产生观测数据。
   

Deep Belief Nets下载地址：

http://page2.dfpan.com/fs/elbc1jf27231f2e9169/

更多精彩文章请关注微信号：