玻尔兹曼机:是一种特殊的概率无向图模型
如何推断?
因为分配函数Z通常都比较难以计算所以采用Gibbs采样
Gibbs采样:与T有关 当T很大的时候 logistics函数趋向于0.5 当T很小是 为正 logistics函数趋向于1 为负 logistics函数趋向于为0
基于上述的性质:模拟退火
参数学习:
基于Gibbs采样来进行近似求解:但是效率比较低
为了提高玻尔兹曼机的效率 提出受限玻尔兹曼机:RBM
二分图结构的无向图模型
全条件概率:
Gibbs采样
参数学习:
对比散度算法
深度信念网络
是深度的有概率有向图模型
局部条件概率:
参数学习:EM或者变分方法
逐层训练:由于是有向图模型 所以预训练结束需要精调
精调
生成模型的精调: