DNN中dropout的理解答案

【问题标题】：The understanding about dropout in DNNDNN中dropout的理解
【发布时间】：2019-05-24 10:44:59
【问题描述】：

根据我对 DNN 的 dropout 正则化的理解是：

辍学：

首先，我们从 DNN 中随机删除神经元，只保留输入和输出相同。然后我们基于一个mini-batch进行前向传播和后向传播；学习这个小批量的梯度，然后更新权重和偏差——这里我将这些更新的权重和偏差表示为 Updated_Set_1。

然后，我们将 DNN 恢复到默认状态并随机删除神经元。现在我们执行前向和后向传播并找到一组新的权重和偏差，称为 Updated_Set_2。这个过程一直持续到 Updated_Set_N ~ N 代表小批量的数量。

最后，我们根据总的 Updated_Set_N 计算所有权重和偏差的平均值；例如，从 Updated_Set_1 ~ Updated_Set_N。这些新的平均权重和偏差将用于预测新的输入。

我只想确认我的理解是正确还是错误。如果错了，请分享你的想法并教我。先感谢您。

【问题讨论】：

【解决方案1】：

嗯，实际上没有平均。在训练过程中，对于每个前馈/后馈前向传递，我们随机“静音”/停用一些神经元，以便在计算输出和反向传播期间不考虑它们的输出和相关权重。

这意味着我们正在迫使其他激活的神经元在没有停用神经元的帮助的情况下做出良好的预测。因此，这增加了它们对其他神经元（特征）的独立性，并以同样的方式增加了模型的泛化能力。

除此之外，前向和反向传播阶段是相同的，没有丢失。

【讨论】：