SENet网络框架

一、SENet网络框架

Squeeze-and-Excitation Networks

• 论文链接：https://arxiv.org/abs/1709.01507
• 论文代码：https://github.com/hujie-frank/SENet

二、SENet算法

1、SE block结构图

2、SE block实现公式

$F_{tr}$Ftr​是卷积操作，$V=[v_1,v_2,…,v_c]$V=[v1​,v2​,…,vc​]是一组滤波器，$v_c$vc​是第c个滤波器的参数，输出$U=[u_1,u_2,...,u_c]$U=[u1​,u2​,...,uc​]；

3、Squeeze

Squeeze操作就是在得到U（多个feature map）之后采用全局平均池化操作对其每个feature map进行压缩，使其$C$C个feature map最后变成$1*1*C$1∗1∗C的实数数列；

4、Excitiation

$\delta$δ是ReLU**函数，$\sigma$σ是sigmod**函数；$W_1 \in \Bbb R^{\frac{C}{r}\times C}$W1​∈RrC​×C，$W_2 \in \Bbb R^{C\times \frac{C}{r}}$W2​∈RC×rC​

为了限制模型复杂度和辅助泛化，论文通过引入两个全连接（FC）层（都是$1*1$1∗1的conv层），即降维层参数为$W_1$W1​，降维比例为r（论文把它设置为16），然后经过一个ReLU，然后是一个参数为$W_2$W2​的升维层。

最后得到$1*1*C$1∗1∗C的实数数列结合U通过上式进行Scale操作得到最终的输出。

4、两种模型