一,resnet-18 + se-net(数据集cifar-10)

resnet-18的网络结构:

SE-NET效果测试

如下图,在每个Residual block中,引入SE-net :

SE-NET效果测试

数据集:cifar-10,

学习率0.1

跑了45个epochs之后,cifar-10测试集的精度对比:

(resnet-18):

SE-NET效果测试

(resnet-18 + se-net):

SE-NET效果测试

从图上看来,resnet-18和resnet-18 + se-net 貌似在精度上相差不大

但resnet-18+se-net却比resnet-18更快地到达一个比较高的精度(如70%)

 

而从具体的训练集精度和损失度来看:

SE-NET效果测试

SE-NET效果测试

一般而言,resnet-18 + se-net 的损失度是比resnet-18稍微要小的。

所以总体而言,se-net对Loss的减少是有作用的。

 

学习率0.01,epochs 135

resnet-18:

SE-NET效果测试

resnet-18 + se-net:

SE-NET效果测试

从数据来看,两边都可以轻易地上到90~91%的准确率,Loss和准确率相差无几。

 

测试代码:

https://github.com/zhujunwen/resnet-18-se-net-/tree/master

相关文章: