神经网络中的正则化答案

【问题标题】：Regularization in Neural Networks神经网络中的正则化
【发布时间】：2019-05-23 00:57:57
【问题描述】：

如果像Relu这样的激活函数将节点的值设置为零，那么在同一个神经网络中是否需要使用dropout，dropout过于随机地敲除神经网络中的节点，所以同时使用relu是否有益和 dropout 在神经网络中一起使用？

【问题讨论】：

【解决方案1】：

虽然这两种方法都将一些节点设置为 0，但 dropout 会随机执行此操作，而 relu 会根据输入执行此操作，因此它们的用法完全不同。 Dropout 用于降低网络基于神经元的刚性结构进行预测的可能性，例如它应该在其决策过程中包含尽可能多的神经元。这使得它对噪声更加鲁棒，因此泛化效果更好。 ReLU 只是一个简单的激活函数，它恰好在训练大型网络的实践中效果很好。

总而言之，是的，将它们一起使用是有意义的，并且可能能够减少过度拟合。

【讨论】：

【解决方案2】：

“它是否有益......”是您真正需要问您的模型而不是我们的问题。 DL 建模仍然是一门艺术——换句话说，就是智能试错。 NN 没有通用的答案。但是，了解一下它们的影响可以帮助您调整自己的研究。

拟人化视图可以帮助您概括对大型 NN 中它们的操作的广泛理解；这是我的工作解释。

ReLU 是一种用于核训练的简单衰减调整。从内核的角度来看，每个矩阵值都是一个感兴趣的度量：“我对这个矩阵元素有多兴奋？” ReLU 是有助于关注下一层的规则。它说“如果这个位置很无聊，我不在乎它有多无聊。不要浪费时间调整你的咆哮水平；忽略它。”所有这些值都设置为 0，从而将它们从后续层的影响中移除。进一步的训练仅取决于对中间特征的肯定识别。

辍学是一种不同的哲学。它有助于保护模型免受错误的中间结论的影响。它说：“让我们重新审视其中的一些东西；忘记一些你学到的东西，重新开始。”通用概念是，如果某件事是“真正的学习”，那么它是由输入和/或剩余学习支持的；我们将很快重新学习这些权重。如果是输入混洗的异常或数据中的噪声，那么它不太可能再次出现，并且删除的权重将用于更好的目的。

【讨论】：