小结：常用**函数

这里写目录标题

• 1 sigmoid
• 1.1 概念
• 1.2 优点
• 1.3 缺点
• 2 tanh
• 2.1 概念
• 2.2 优点
• 2.3 缺点
• 3 ReLU
• 3.1 概念
• 3.2 优点
• 3.3 缺点
• 3.4 leakyReLU（PReLU）
• 参考

1 sigmoid

1.1 概念

1.2 优点

（1）实现非线性变换
（2）梯度容易计算
（3）可以进行数据压缩

1.3 缺点

双边饱和，易出现梯度消失

2 tanh

2.1 概念

tf.nn.tanh

2.2 优点

（1）实现非线性变换
（2）梯度容易计算
（3）可以进行数据压缩
（4）近0处，梯度比sigmoid大，收敛快
（5）数据中心化

2.3 缺点

双边饱和，易出现梯度消失

3 ReLU

3.1 概念

Rectified Linear Unit，修正线性单元

tf.nn.relu

3.2 优点

（1）实现非线性变换
（2）梯度容易计算，比sigmoid和tanh简单
（3）z>0的区域，不会梯度消失
（4）保留了输入信息

3.3 缺点

z<0的区域，出现梯度弥散，神经元死亡

3.4 leakyReLU（PReLU）

parametric ReLU
解决ReLU神经元死亡问题


tf.nn.leaky_relu

参考

https://www.cnblogs.com/alivinfer/p/12818917.html