Leaky-ReLU 的缺点是什么？答案

【问题标题】：What are the disadvantages of Leaky-ReLU?Leaky-ReLU 的缺点是什么？
【发布时间】：2019-10-10 18:35:45
【问题描述】：

我们使用 ReLu 代替 Sigmoid 激活函数，因为它没有像 sigmoid 一样的激活函数中存在的梯度消失和爆炸问题，
Leaky-ReLU 是依赖的改进之一。每个人都在谈论 Leaky-ReLU 的优势。但是 Leaky-ReLU 的缺点是什么？

【问题讨论】：

标签： deep-learning conv-neural-network activation-function relu

【解决方案1】：

ReLU 取代了隐藏层中的 sigmoid，因为它为通用应用程序产生了更好的结果，但它确实取决于您的情况，其他激活函数可能会更好。 Leaky ReLU 有助于解决梯度消失问题。

我认为 Leaky ReLU 的主要缺点是您需要调整另一个参数，即斜率。但我要说，这真的取决于你的问题，哪个功能更好。

【讨论】：

【解决方案2】：

冒险：
LeakyRelu 是“不朽的”。
如果你用你的 Relu 神经网络玩够了，一些神经元就会死掉。（特别是 L1、L2 归一化）检测死亡神经元很困难。更努力地纠正它们。
缺点：
您将在每个时期添加计算工作。（乘法比分配零更难）
根据工作的不同，您可能需要更多的 epoch 才能收敛。
负 z 处的斜率是另一个参数，但不是非常关键的参数。
当您达到较小的学习率时，死神经元往往会保持死状态。

【讨论】：