为什么使用受限玻尔兹曼机而不是多层感知器？答案

【问题标题】：Why use a restricted Boltzmann machine rather than a multi-layer perceptron?为什么使用受限玻尔兹曼机而不是多层感知器？
【发布时间】：2015-10-30 07:48:20
【问题描述】：

我试图了解受限玻尔兹曼机 (RBM) 和前馈神经网络 (NN) 之间的区别。我知道 RBM 是生成模型，其想法是重建输入，而 NN 是判别模型，其想法是预测标签。但我不清楚的是，为什么不能只将 NN 用于生成模型？特别是，我正在考虑深度信念网络和多层感知器。

假设我对 NN 的输入是一组名为 x 的音符，而我的 NN 输出是一组节点 y。在判别模型中，我在训练期间的损失将是 y 与我希望 x 产生的 y 值之间的差异（例如，类标签的真实概率）。但是，如果我只是让输出与输入具有相同数量的节点，然后将损失设置为 x 和 y 之间的差值呢？通过这种方式，网络将学会重建输入，就像在 RBM 中一样。

那么，既然可以使用 NN（或多层感知器）以这种方式训练生成模型，为什么要改用 RBM（或深度信念网络）呢？或者在这种情况下，它们会完全相同吗？

【问题讨论】：

标签： machine-learning neural-network classification

【解决方案1】：

您可以按照您描述的方式将 NN 用于生成模型。这被称为autoencoder，它们可以很好地工作。事实上，这些通常是深度信念网络的基石。

RBM 是与前馈神经网络完全不同的模型。它们具有双向连接（向前和向后），具有概率/能量解释。您需要阅读详细信息才能理解。

深度信念网络 (DBN) 只是一个具有多层的神经网络。这可以是一个大型 NN，其层由一种自动编码器组成，或者由堆叠的 RBM 组成。您需要特殊的方法、技巧和大量数据来训练这些深度和大型网络。简单的反向传播存在vanishing gradients 问题。但如果你设法训练它们，它们会非常强大（编码“更高级别”的概念）。

希望这有助于为您指明正确的方向。

【讨论】：

谢谢。那么在自动编码器与 RBM 的情况下，有什么直觉可以解释为什么 RBM 似乎更有效？
DBN 中没有“穿越时空的BP”之类的东西。 BPTT 适用于循环网络，而不是“任何”深度架构
@Karnivaurus：我对这些（自动编码器与 RBM）没有足够的经验来建议何时使用哪个，抱歉。
@lejlot：谢谢，我的意思是“反向传播”。修好了。