链接:https://blog.csdn.net/qq_36104364/article/details/79972251?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight
中文的译文
链接:https://blog.csdn.net/bryant_meng/article/details/88041204
有些地方读英文还是很形象的 还能学外语,,,
1 Background and Motivation
CNN extract informative features by fusing spatial and channel-wise information together within local receptive fields.
CNN通过融合局部感受野的空间和信道信息来提取信息特征。
为了 增强 CNN 的 representation power 描述的能力
几种增强空间编码的方法(空间相关性、空间注意)
several methods:enhancing spatial encoding(spatial correlations、spatial attention)比如,inception 中的多个感受野 concatenate
作者:focus on the channel relationship
因此作者设计出 Squeeze-and-Excitation 结构,emphasise informative features and suppress less useful ones(channel-wise)
强调信息性特征,抑制不太有用的功能(渠道方面
来张图说明:
1 概述
这两个全连接层的作用就是融合各通道的feature map信息,因为前面的squeeze都是在某个channel的feature map里面操作。
SENet通过学习channel之间的相关性,筛选出了针对通道的注意力,稍微增加了一点计算量,但是效果提升较明显
Squeeze-and-Excitation(SE) block是一个子结构,可以有效地嵌到其他分类或检测模型中。
SENet的核心思想在于通过网络根据loss去学习feature map的特征权重来使模型达到更好的结果
SE模块本质上是一种attention机制
2 Squeeze-and-Excitation模块
Squeeze 操作对 C x H x W 进行global average pooling,得到大小为 C x 1 x 1 的特征图
Excitation 操作 使用一个全连接神经网络,对Sequeeze之后的结果做一个非线性变换
Reweight 操作 使用Excitation 得到的结果作为权重,乘到输入特征上
https://blog.csdn.net/shanglianlm/article/details/104370739
pytorch代码 我pycharm一直安不上。。。没试