3-6 激活函数的导数

激活函数的导数（ Derivatives of activation functions）

Sigmoid函数

导数为：

tanh函数

导数为：

Relu函数

在z=0时，通常给定导数1,0，当然z=0的情况很少。

Leaky Relu函数

在z=0时，通常给定导数1,0.01，当然z=0的情况很少。