深度学习笔记007 - 常见的**函数图像以及使用场景

常用**函数

1. relu**函数
   
   使用场景：
   经过 验证的，使用最多的**函数

2. sigmoid**函数
   
   使用场景：
   多用于逻辑回归输出，将输出控制在0-1之间
   存在问题：
   如果x非常大的时候，sigmoid的梯度会变得非常小

3. tanh**函数
   
   使用场景：
   取值范围在-1至1之间，在处理生成网络的时候比较常用

4. Leak relu
   
   使用场景：
   在生成网络中比较常用，解决relu负值丢失，对Gan生成对抗网络中生成器的输出进行**。