深度学习基础 十二 ReLU vs PReLU

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

                     

从算法的命名上来说，PReLU 是对 ReLU 的进一步限制，事实上 PReLU（Parametric Rectified Linear Unit），也即 PReLU 是增加了参数修正的 ReLU。

在功能范畴上，ReLU 、 PReLU 和 sigmoid 、 tanh 函数一样都是作为神经元的激励函数（activation function）。

1. ReLU 与 PReLU

注意图中通道的概念，不通的通道对应不同的 $$

如果 ai=0 被初始化为 0.25。

3. references

《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》

深度学习——PReLU**

           

给我老师的人工智能教程打call！http://blog.csdn.net/jiangjunshow

                     

从算法的命名上来说，PReLU 是对 ReLU 的进一步限制，事实上 PReLU（Parametric Rectified Linear Unit），也即 PReLU 是增加了参数修正的 ReLU。

在功能范畴上，ReLU 、 PReLU 和 sigmoid 、 tanh 函数一样都是作为神经元的激励函数（activation function）。

1. ReLU 与 PReLU

注意图中通道的概念，不通的通道对应不同的 $$

如果 ai=0 被初始化为 0.25。

3. references

《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》

深度学习——PReLU**