DenseNet的几个优点:

1、减轻了vanishing-gradient(梯度消失) (每一层都直接连接input和loss,因此就可以减轻梯度消失现象
2、加强了feature的传递 
3、更有效地利用了feature 
4、一定程度上较少了参数数量

1)密集连接:

DenseNet

若你有L层,那么就会有L个连接,但是在DenseNet中,会有L(L+1)/2个连接。简单讲,就是每一层的输入来自前面所有层的输出。(这里不同于resnet中的权值和操作,采用了concat操作)

DenseNet

2)DenseNet

bottleneck layer的提出:也就是每个dense block的3*3卷积前面都包含了一个1*1的卷积操作(降维,减少参数~)+ 密集连接= 减少参数量且通道融合

 

3)DenseNet-C的提出,新增加了Translation layer,该层的1*1DenseNet卷积的输出channel默认是输入channel的一半

 

 

相关文章:

  • 2021-04-28
  • 2021-09-14
  • 2021-07-30
猜你喜欢
  • 2021-11-17
  • 2021-06-06
相关资源
相似解决方案