1.**函数是什么
链接：https://www.cnblogs.com/lliuye/p/9486500.html
2.为什么需要**函数
链接：https://baike.baidu.com/item/%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0/2520792?fr=aladdin
3.**函数分类
（1）sigmoid函数
该函数是将取值为 (−∞,+∞) 的数映射到 (0,1) 之间,很好的表达神经元的**与未**的状态，适合二分类。
缺点：
函数的输出不是以0为均值，将不便于下层的计算；
计算量大；
当 z 值非常大或者非常小时，通过上图我们可以看到，sigmoid函数的导数 g′(z) 将接近 0 。这会导致权重 W 的梯度将接近 0 ，使得梯度更新十分缓慢，即梯度消失(gradient vanishing)。
（2）tanh函数
tanh是在sigmoid基础上的改进，将压缩范围调整为（-1,1)
tanh函数均值为 0 ，因此弥补了sigmoid函数均值为 0.5 的缺点；但仍有梯度消失问题
（3）ReLU函数：解决梯度消失(gradient vanishing)问题
ReLU缺点：只要输入是负值，那么输出就为0，这可能导致后面的网络输入都是0，造成网络大面积坏死
变形
（4）MaxOut函数
https://blog.csdn.net/hjimce/article/details/50414467
（5）SWISH函数
链接：https://www.cnblogs.com/makefile/p/activation-function.html