将 Keras 与 TensorFlow 后端一起使用时的 Dropout

Question

我读到了 Keras 的 dropout 实现，它似乎使用了它的反向 dropout 版本，即使它说的是 dropout。

这是我在阅读 Keras 和 Tensorflow 文档时所理解的：

当我指定Dropout(0.4) 时，0.4 意味着该层中的每个节点都有 40% 的机会被丢弃，这意味着 0.4 是丢弃概率。因此，通过反向 dropout 的概念，剩余神经元的输出被缩放 1/0.6 倍，因为保持概率为 0.6。

（如果我的解释不正确，请指出。我的全部疑问都是基于这种解释。）

另一方面，在 TensorFlow 中，它只是直接询问保持概率，这意味着如果我将值指定为 0.4，则每个节点都有 60% 的机会被丢弃。

那么当我在 Keras 的后端使用 TensorFlow 时会发生什么？保持或丢弃概率需要 0.4 吗？

（使用 Python 3.6 和所有必需库的最新版本）

Answer 1

Dropout(0.4) 在 Keras 层中意味着 40% 的神经元被丢弃（不保留）。

来自Keras documentation：

Dropout 包括将输入单元的分数率随机设置为 在训练期间每次更新时为 0，这有助于防止 过拟合。

Answer 2

查看Dropout 层的source code (Line 72) 也可以帮助确定答案。

Dropout 包括随机设置输入单元的分数“率” 在训练期间每次更新时为 0，这有助于防止 过拟合。

消息来源还提到了由 Nitish Srivastava 等撰写的参考论文（我假设它准确地概述了 keras 如何实现 dropout）found here。人。

---

虽然阅读源代码有点多，但它看起来像是在第 107 行调用了 droput 的后端实现

return K.dropout(inputs, self.rate, noise_shape, seed=self.seed)

K 是后端。如果您仍然好奇，可能值得研究一下K.dropout 在您选择的后端是如何实现的。