链接: https://arxiv.org/abs/1912.03458v2
本文针对卷积神经网络, 提出一种动态卷积模块, 仅增加很少的计算量, 来获得性能上的较大提升.
动态卷积中的 Attention 模块来源于 SENet[13] 网络, 它可以自动学习到不同通道特征的重要程度, 生成对应的权重, 这相当于一种注意力机制.
与 SENet 不同的是, 动态卷积处理的对象是卷积核, 按权重相加, 而后者是处理特征图, 对每个特征图乘上一个权重.
相对动态卷积来说, 传统的感知器可以看成静态的:y = g ( W T x + b )
\mathbf{y}=g(\mathbf{W^Tx}+\mathbf{b})
y = g ( W T x + b ) y = g ( W ~ T ( x ) x + b ~ ( x ) ) W ~ ( x ) = ∑ k = 1 K π k ( x ) W ~ k , b ~ ( x ) = ∑ k = 1 K π k ( x ) b ~ k s.t. 0 ≤ π k ( x ) ≤ 1 , ∑ k = 1 K π k ( x ) = 1
\begin{aligned}
\mathbf{y} &=g\left(\widetilde{\mathbf{W}}^{T}(\mathbf{x}) \mathbf{x}+\tilde{\mathbf{b}}(\mathbf{x})\right) \\
\widetilde{\mathbf{W}}(\mathbf{x}) &=\sum_{k=1}^{K} \pi_{k}(\mathbf{x}) \widetilde{\mathbf{W}}_{k}, \tilde{\mathbf{b}}(\mathbf{x})=\sum_{k=1}^{K} \pi_{k}(\mathbf{x}) \tilde{\mathbf{b}}_{k} \\
\text { s.t. } & 0 \leq \pi_{k}(\mathbf{x}) \leq 1, \sum_{k=1}^{K} \pi_{k}(\mathbf{x})=1
\end{aligned}
y W ( x ) s.t. = g ( W T ( x ) x + b ~ ( x ) ) = k = 1 ∑ K π k ( x ) W k , b ~ ( x ) = k = 1 ∑ K π k ( x ) b ~ k 0 ≤ π k ( x ) ≤ 1 , k = 1 ∑ K π k ( x ) = 1 W ~ k , b ~ k \tilde{\mathbf{W}}_{k}, \tilde{\mathbf{b}}_{k} W ~ k , b ~ k K K K
聚合的意思是将 K K K π k ( x ) \pi_k{(\mathbf{x})} π k ( x ) W ~ , b ~ \mathbf{\tilde{W}}, \mathbf{\tilde{b}} W ~ , b ~ π k ( x ) \pi_k{(\mathbf{x})} π k ( x )
上图中可能会产生误解, x \mathbf{x} x π ( k ) \pi(k) π ( k ) c o n v k conv_k c o n v k x \mathbf{x} x y \mathbf{y} y
由于需要同步优化所有的卷积核, 因为这会带来训练上的困难. 针对训练问题, 本文提出两个改进.
注意到 ∑ k = 1 K π k ( x ) = 1 \sum_{k=1}^{K} \pi_{k}(\mathbf{x})=1 ∑ k = 1 K π k ( x ) = 1
假设 W ~ 1 , W ~ 2 , W ~ 3 \widetilde{\mathbf{W}}_1, \widetilde{\mathbf{W}}_2, \widetilde{\mathbf{W}}_3 W 1 , W 2 , W 3 ∑ k = 1 K π k ( x ) = 1 \sum_{k=1}^{K} \pi_{k}(\mathbf{x})=1 ∑ k = 1 K π k ( x ) = 1
另外关于 Softmax 归一化函数引入热度(temperature)的参数:π k = exp ( z k / τ ) ∑ j exp ( z j / τ )
\pi_{k}=\frac{\exp \left(z_{k} / \tau\right)}{\sum_{j} \exp \left(z_{j} / \tau\right)}
π k = ∑ j exp ( z j / τ ) exp ( z k / τ ) τ \tau τ π k \pi_k π k τ = 1 \tau = 1 τ = 1 π k \pi_k π k π k \pi_k π k W ~ k \widetilde{\mathbf{W}}_k W k W ~ k \widetilde{\mathbf{W}}_k W k τ \tau τ
虽然动态卷积仅在增加很少的计算量的前提下, 能够提高网络的表达能力, 但这大大增加了网络参数的数量, 对硬件条件有更高的要求. 具体来说, 一个卷积层通常要输出很多个特征图, 而每一个特征图, 都要有一个动态卷积层来输出, 这使得卷积核的数量增加了 K K K K = 8 K=8 K = 8 K K K
[13] Jie Hu, Li Shen, and Gang Sun. Squeeze-and-excitation networks. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.
本人才疏学浅, 如有遗漏或错误之处, 请多多指教!