软注意力机制关注于区域或者通道,软注意是确定性注意力,是可微的,能够通过训练得到注意力权重。
【深度学习笔记】注意力机制

reshape过程:
theta:view+permute
【深度学习笔记】注意力机制

phi:view
【深度学习笔记】注意力机制

g:view+permute
【深度学习笔记】注意力机制
矩阵乘法:
f = torch.matmul(theta, phi)
【深度学习笔记】注意力机制

相关文章: