李宏毅：Activation Function

1、relu

（1）relu

（2）relu的变形

李宏毅：Activation Function

（3）selu

李宏毅：Activation Function

下图中的iid表示独立同分布，输入a1...ak的mean是0，variance是 1，Selu希望得到输出的mean也是0，variance也是1。我们假设w1...wk的mean也等于0。

李宏毅：Activation Function

我们假设weight的variance也是1。

李宏毅：Activation Function

SNN就是用selu

李宏毅：Activation Function

（3）swish

李宏毅：Activation Function