一、普通分类任务的经典tricks
1 模型优化方面
SGD，Adam, RMSprop
2 数据层面的增强方法
3 learning rate的更新策略
4 损失函数优化
5 正则化
6 BatchNorm
二、目标检测训练优化tricks
Bag of Freebies for Training Object Detection Neural Networks-15 Feb, 2019
参考博客：https://blog.csdn.net/ouyangfushu/article/details/88686189
1 mixup
分类与GAN中的mixup数据增强是以resize到相同大小的图像为前提完成的。而目标检测中若resize到相同大小则会造成图像畸变。所以作者采用的是保持图像的集合形状进行mixup
思路：取最大宽高并填充（constant 合成的空白区域）。计算损失时按照mixup的beta分布产生的权重对损失进行加权求和，再反向传播loss更新模型权重。
-
改进学习率衰减
使用cosine schedule代替step schedule。
validation mAP的可视化后，收敛后的效果方面并不会有太大改变，但是cosine比step要平滑。 -
随机形状训练（输入图像的多尺度训练）
借鉴于yolo v2/v3；
每隔10个iterations就会变化训练图片的尺度，->可以实现跨尺度特征融合，是的模型不容易过拟合而增强泛化性能