使用 RBM 权重初始化 MLP 的权重答案

【问题标题】：Initializing the weights of a MLP with the RBM weights使用 RBM 权重初始化 MLP 的权重
【发布时间】：2014-04-23 08:59:43
【问题描述】：

我想用scikit-learn 建立一个 Deep Believe 网络。据我所知，应该单独训练许多受限玻尔兹曼机（RBM）。然后应该创建一个多层感知器 (MLP)，其层数与 (RBM) 的数量相同，并且 MLP 的权重应该使用 RBM 的权重进行初始化。但是，我无法从 scikit-learn 的BernoulliRBM 中找到获取 RBM 权重的方法。此外，它似乎也不是一种在 scikit-learn 中初始化 MLP 权重的方法。

有没有办法按照我的描述做？

【问题讨论】：

标签： python scikit-learn

【解决方案1】：

scikit-learn 目前没有实现可以通过 RBM 初始化的 MLP，但您仍然可以访问存储在 components_ 属性中的权重和存储在 intercept_hidden_ 属性中的偏差。

如果您对使用现代 MLP 感兴趣，torch7、pylearn2 和 deepnet 都是现代库，其中大多数都包含您所描述的预训练例程。

【讨论】：