在神经网络中在哪里添加 dropout？

Question

我在神经网络的不同部分看到了关于 dropout 的描述：

1. 权重矩阵中的dropout，

2. 矩阵乘法后relu前隐藏层dropout，

3. relu后隐藏层dropout，

4. 在softmax函数之前输出分数的dropout

我对应该在哪里执行 dropout 有点困惑。有人可以帮忙详细说明一下吗？谢谢！

Answer 1

所以：

1. 您描述的第一个用法称为权重丢失。
2. 您描述的第二个和第三个用法是相同的，它们通常被描述为激活时退出。人们可能很容易注意到，当整行（或列 - 取决于实现）被关闭时，它可能以权重丢失的形式表示。
3. 在第 4 种情况下，dropout 的使用不正确 - 您要在其上使用 dropout 的层是输出层 - 因此在此处使用 dropout 不是最好的主意。