训练神经网络时哪些层应该经历“dropout”？答案

【问题标题】：What layers should experience "dropout" when training a Neural Network?训练神经网络时哪些层应该经历“dropout”？
【发布时间】：2016-11-02 16:47:39
【问题描述】：

我有这个具有 ReLU 隐藏 层激活和 Sigmoid 输出 层激活的多层网络。我想实现 dropout（每个神经元在训练期间有机会只输出零）。

我在想我可以在训练期间将这种噪声作为 ReLU 激活例程的一部分引入并完成它，但我不确定原则上是否会导致 dropout 扩展到可见/输出层与否。

（在我看来，dropout 消除了过度拟合，因为它有效地使网络成为许多较小网络的平均值。我只是不确定输出层）

【问题讨论】：

【解决方案1】：

是的，你是对的 - 你不应该将 dropout 应用到输出层。直观地说——这种噪声的引入使你的网络输出很可能独立于你的网络结构。无论在隐藏层中进行了何种计算——有一些概率输出可能与它们无关。这与建模的理念完全相反。

【讨论】：