ReLU**函数
在深度学习中，有修正线性单元(Rectified linear unit，ReLU)的**函数
x轴是时间，y轴是放电速度
神经元的工作方式：
1、稀疏性
2、分布性
我们开始介绍ReLU**函数
首先，我们来看一下ReLU**函数的形式
从图中可以看出来ReLU函数他是一个分段的函数在一边都让他是0另一边随着数据的增大而变大
这种操作被成为单侧抑制。
有了单侧抑制，才让神经网络中的神经元也具有了稀疏**性。
在深度神经网络模型(如卷积神经网络)中，当模型增加A层之后，ReLU神经元的**率将降低2的A次方倍左右
ReLU实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。
相比较其他的**函数，比如双曲正切函数，Sigmoid函数
ReLU有以下优势：
ReLU可以让神经网络的训练速度提升数倍，不会对模型的泛化产生影响
对于线性函数而言，ReLU的表达能力更强
对于非线性函数而言，ReLU他的非负区间的梯度是常数，所以不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态。