所有 ReLu 是否都在将所有负值更改为 0？

【问题标题】：Is all ReLu doing changing all negative values to 0?所有 ReLu 是否都在将所有负值更改为 0？
【发布时间】：2019-03-13 23:40:32
【问题描述】：

我刚刚花了一个小时阅读了一篇关于 Rectified Linear Units (ReLu) 的论文。我发现解开所涉及的数学非常困难。

基本上只是说，在你做convulution和pooling之后，你把任何负值都改成0吗？

是这样吗？

【问题讨论】：

【解决方案1】：

你几乎是对的。但是，对于大于零的输入值，它变成了通常的线性函数。因此，函数是：

f(x) = 0, when x < 0;
     = x, otherwise

(or)

f(x) = max(0, x)

【讨论】：