swish和mish**函数

swish和mish**函数

• 函数公式
• 函数图像
• 函数特点
• 对比mish**函数

函数公式

函数图像

当$\beta$β取不同的值时，函数图像如下：

当$\beta$β = 0时，Swish**函数变为线性函数 f(x) = $\frac{x}{2}$2x​，
当$\beta$β = $\infty$∞ 时，Swish**函数变为0或x，相当于Relu，
所以，Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。
——————————————————————————————————
Swish函数的求导过程为：

导数图像如下：

函数特点

1.Swish函数和其一阶导数都具有平滑特性；
2.有下界，无上界，非单调。

对比mish**函数

mish**函数参考：mish**函数
函数图像对比如下：