玻尔兹曼机:是一种特殊的概率无向图模型

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

如何推断?

因为分配函数Z通常都比较难以计算所以采用Gibbs采样

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 Gibbs采样:与T有关 当T很大的时候 logistics函数趋向于0.5 当T很小是 为正 logistics函数趋向于1 为负 logistics函数趋向于为0

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 基于上述的性质:模拟退火

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 参数学习:

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 基于Gibbs采样来进行近似求解:但是效率比较低

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

为了提高玻尔兹曼机的效率 提出受限玻尔兹曼机:RBM

二分图结构的无向图模型

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 全条件概率:

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 Gibbs采样

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 参数学习:

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 对比散度算法

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

深度信念网络

是深度的有概率有向图模型

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 局部条件概率:

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 参数学习:EM或者变分方法

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 逐层训练:由于是有向图模型 所以预训练结束需要精调

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 精调

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 生成模型的精调:

邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络

 

相关文章:

  • 2021-05-13
  • 2021-08-15
  • 2021-06-04
  • 2022-12-23
  • 2021-10-10
  • 2021-12-19
  • 2021-08-20
  • 2022-12-23
猜你喜欢
  • 2021-11-07
  • 2021-06-24
  • 2021-11-13
  • 2021-10-17
  • 2021-08-25
  • 2021-11-28
  • 2022-12-23
相关资源
相似解决方案