attention结构理解。
一、概念
1.起源
2.定义。
注意力机制(Attention)没有特别严格的限制,只要是从画面大量信息中提取出有用的核心信息,就能算做是attention机制。
(比如传统的局部图像特征提取、滑动窗口等方法都可以看作是注意力机制。)
注意力机制通常是一个另外的一个神经网络,给输入的不同部分分配不同的权重。
3.意义
给重要的部分分配更大的权重,能够使模型的性价比更高。
4.种类
(1)空间维度:inception-v1(google-net)
(2)通道维度:SE-BLOCK
二、代码实现
http://blog.csdn.net/guotong1988/article/details/82902268