【发布时间】：2018-02-01 02:23:19
【问题描述】：
我正在运行云 ML 引擎作业，并且我的 tensorboard 图显示我的隐藏层的零值比例随着步数的增加而稳步增加到 1。应该如何解释这个情节？我相信这是一件好事，因为更多的零值表明该模型对其所做的预测越来越“确定”。
【问题讨论】：
标签： tensorflow tensorboard google-cloud-ml-engine
【发布时间】：2018-02-01 02:23:19
【问题描述】：
这通常意味着您的正则化技术和/或激活函数将激活值强制为零。您尚未共享模型的详细信息，但这在使用 dropout 时很常见，尤其是在使用 relu 激活函数时。
具有大量零激活的模型倾向于更好地泛化，因此提供更好的准确性。
如果您想了解更多详情，请联系JMLR paper on dropout。
我确实必须注意，使激活归零有时是不好的，至少对于 ReLU 激活函数是这样。基本上，他们可以不可逆转地“死去”。因此，如果您看到模型质量不佳，请当心。更多信息here。
【讨论】：
-
这很有帮助。感谢您提供的信息——我认为我还没有引入 dropout，但我正在使用 ReLU 激活函数，所以从这个角度考虑很有趣。
-
为什么dropout结合Relu会增加零的比例？ Dropout 会切断一些连接，但它永远不会切断到给定节点的所有传入连接。这里有什么机制在起作用？