具有 NRI 隐藏单元的 Gaussian-RBM（在 DURBAN 中）？答案

【问题标题】：Gaussian-RBM with NRLU hidden units (in DBN)?具有 NRI 隐藏单元的 Gaussian-RBM（在 DURBAN 中）？
【发布时间】：2014-07-31 17:36:49
【问题描述】：

我正在研究用于图像分类的 RBM（用于 DBN）。我使用两个 RBM 层。第一个具有高斯可见单元和二进制隐藏单元，第二个具有二进制可见单元和 softmax 隐藏单元。它工作得很好。我现在想尝试使用噪声校正线性单元作为隐藏层，但我不明白如何实现它们。我所尝试的一切都导致了可怕的结果。

现在，如果我理解正确：ReLU 的激活概率只是 p = max(0, x + N(0, 1))，但是如何对值进行采样以激活可见单元？噪声是否应该仅用于采样而不用于激活概率？

另一件事：在一些论文中，我看到噪声是 N(0,1)，而另一些则使用 N(0,sigmoid(x))。

那么，激活函数应该是什么以及应该如何对值进行采样？

【问题讨论】：

【解决方案1】：

显然：

使用max(0, x) 作为激活概率函数并使用max(0, x + N(0, Sigmoid(x)) 进行采样似乎适用于 RBM。

【讨论】：

您好，我想问您如何管理与第二个 RBM 的连接。我遇到的问题：我有完美的高斯校正 RBM，其中高斯单位的输入分别来自向量中每个元素的 N(0, 1)。整流单位由 ln(1 + e^x) 计算。这台机器运行良好，并且比高斯二进制更好地减少了错误。现在如果我想创建 DBN 怎么办？从某种意义上说，在修正的隐藏单元后面添加额外的 RBM？我需要某种规范化或其他东西吗？高斯与整流不兼容，是吗？和后面的微调对应吗？谢谢