resnet 中bottleneck
图片来自这里

论文中指明将为减少训练时间,将原始的残差模块(上图左侧)替换为bottleneck的残差模块。上图中右侧图有两处需要说明,

一个是bottleneck中第二个1*1卷积的通道为什么是256维度;

一个是左右两侧为相同的输入,为什么图右变为256维度的恒等映射;

对于第一个问题,可理解为参数设置将最后一个卷积的通道设置为当前输入通道的4倍;

对于第二个问题,要想实现加运算,必须令输入通道数和1*1卷积核的输出通道数相同,所以需要对原始64通道的输入利用1*1卷积增加通道至256维。

对于bottleneck的残差模块,通过上述两个操作保持了和原始两个3*3卷积核相同的计算量和参数量。

 

参考文献:

  1. ResNet, torchvision, bottlenecks, and layers not as they seem.

  2. 代码resnet.py

  3. Identity Mappings in Deep Residual Networks

相关文章:

  • 2021-11-04
  • 2021-10-05
  • 2021-04-27
  • 2022-01-03
  • 2021-08-24
  • 2021-12-20
  • 2021-06-27
  • 2022-12-23
猜你喜欢
  • 2021-07-11
  • 2022-12-23
  • 2021-11-24
  • 2022-12-23
  • 2021-11-12
  • 2021-07-02
相关资源
相似解决方案