最近学习了关于计算机视觉中的注意力机制一些基础知识,整理下,方便复习,也分享一下;

一、前言

计算机视觉中注意力机制基础知识(Attention Mechanism)

 

计算机视觉中注意力机制基础知识(Attention Mechanism)

 二、分类

计算机视觉中注意力机制基础知识(Attention Mechanism)

也就是两类;软注意力与强注意力,如下

计算机视觉中注意力机制基础知识(Attention Mechanism)

 

软注意力

       为了更清楚地介绍计算机视觉中的注意力机制,这篇文章将从注意力域(attention domain)的角度来分析几种注意力的实现方法。其中主要是三种注意力域,空间域(spatial domain)通道域(channel domain)混合域(mixed domain)。

还有另一种比较特殊的强注意力实现的注意力域,时间域(time domain),但是因为强注意力是使用reinforcement learning来实现的,训练起来有所不同。

  a、空间域

计算机视觉中注意力机制基础知识(Attention Mechanism)

计算机视觉中注意力机制基础知识(Attention Mechanism)

 

计算机视觉中注意力机制基础知识(Attention Mechanism)

b、通道域

计算机视觉中注意力机制基础知识(Attention Mechanism)

 

计算机视觉中注意力机制基础知识(Attention Mechanism)

计算机视觉中注意力机制基础知识(Attention Mechanism)

 

c、混合域

计算机视觉中注意力机制基础知识(Attention Mechanism)

 

如下文章所示:

计算机视觉中注意力机制基础知识(Attention Mechanism)

三、总结

计算机视觉中注意力机制基础知识(Attention Mechanism)

 

相关文章: