(Python) 计算 P(v|h) 的高斯伯努利 RBM

Question

上下文：

我正在实现高斯伯努利 RBM，它类似于流行的 RBM，但具有实值可见单位。

确实，对隐藏值p(h=1|v) 进行采样的过程对于两者都是相同的，即

问题：

我的问题在于编码（使用 Python）p(v|h)，即，

我对 N() 的工作原理有点困惑。我是否只是使用数据的标准差将高斯噪声添加到b + sigma * W.dot(h)？

提前谢谢你。

Answer 1

X ~ N(μ, σ²) 表示 X 服从均值 μ 和方差 σ² 的正态分布，所以在RBM 训练例程，v 应该从这样的分布中抽样。在 NumPy 中，这是

v = sigma * np.random.randn(v_size) + b + sigma * W.dot(h)

或使用scipy.stats.norm 以获得更好的可读性代码。