Deep learning I - III Shallow Neural Network - Activation functions深度学习常用激励函数

Activation functions 激励函数

---

Reference：Deep Learning from Coursera, especially Andrew Ng’s team

1. 从前，使用sigmod function作为激励函数是常用的选择
2. 目前，用tanh function代替sigmod function是很好的选择
3. 但是，作为二分类网络最后的一层，还是会选用sigmod
4. 观察tanh和sigmod，两者在z值远大于和远小于0时，其导数会很小，导致梯度下降速度很慢
5. 因此，出现了ReLU function，以及其变种 Leaky ReLU function
6. ReLU function目前应用最为广泛