是否有计划在 H2O 中实现泄漏的 ReLU？

【问题标题】：Are there any plans to implement a leaky ReLU in H2O?是否有计划在 H2O 中实现泄漏的 ReLU？
【发布时间】：2018-02-20 09:33:54
【问题描述】：

是否有计划在 H2O 的深度学习模块中实现泄漏的 ReLU？我是神经网络的初学者，但是在有限的模型构建和参数调整中，我发现 ReLU 可以更好地泛化，并且想知道是否可以通过使用leaky ReLU 来避免死亡的 ReLU 问题来获得更好的性能。

【问题讨论】：

这不是一个编码问题，也不属于 Stack Overflow。如果您对 H2O 路线图有任何疑问，可以发送电子邮件至groups.google.com/forum/#!forum/h2ostream
感谢您指出 google 群组

标签： deep-learning h2o activation-function

【解决方案1】：

这不是您问题的直接答案，因为产品路线图并不是我们可以评论的。但是，如果您担心 H2O 中的死亡 ReLU 问题，为什么不使用 ExpRectifier，它代表 指数线性单元 (RLU)，它不会遇到死亡 ReLU 问题。事实上，this paper 证明 ELU 优于所有 ReLU 变体。唯一的缺点是它的计算量更大，因为它涉及计算中的指数。

【讨论】：

感谢您提供有关使用 ExpRectifier 的指导。在 Flow UI 中，我没有看到 ExpRectifier 的选项。我只看到 Linear、Tanh 和 MaxOut，以及它们的 dropout 对应物。我正在使用通过 R 安装的 3.14.0.2 版本。