DenseNet的几个优点:
1、减轻了vanishing-gradient(梯度消失) (每一层都直接连接input和loss,因此就可以减轻梯度消失现象)
2、加强了feature的传递
3、更有效地利用了feature
4、一定程度上较少了参数数量
1)密集连接:
若你有L层,那么就会有L个连接,但是在DenseNet中,会有L(L+1)/2个连接。简单讲,就是每一层的输入来自前面所有层的输出。(这里不同于resnet中的权值和操作,采用了concat操作)
2)
bottleneck layer的提出:也就是每个dense block的3*3卷积前面都包含了一个1*1的卷积操作(降维,减少参数~)+ 密集连接= 减少参数量且通道融合
3)DenseNet-C的提出,新增加了Translation layer,该层的1*1卷积的输出channel默认是输入channel的一半