hanouba

Sigmoid激活函数

  

 

   其具体求导公式如下:

 

 

  当且仅当 z=10或 z=-10时,Sigmoid激活函数的导数 ≈ 0

  当 z = 0时,Sigmoid激活函数的导数 = 1/4

Tanh 激活函数

  

 

  

 

   

  当且仅当 z=10或 z=-10时,tanh激活函数的导数 ≈ 0

  当 z = 0时,Sigmoid激活函数的导数 = 1

ReLU激活函数

 

 

   

 

 

 

分类:

技术点:

相关文章: