神经网络中如果不加入**函数，其一定程度可以看成线性表达，最后的表达能力不好，如果加入一些非线性的**函数，整个网络中就引入了非线性部分，增加了网络的表达能力。目前比较流行的**函数主要分为以下7种：
1.sigmoid
2.tanh
3.ReLu
4.Leaky ReLu
5.PReLu
6.RReLu
7 Maxout
8 SELU
总结
是ELU的改进版本，
参考文献：
[ReLu]:Rectifier Nonlinearities Improve Neural Network Acoustic Models
[PRelu]:Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification