1.惩罚性成本函数
惩罚性成本函数是在损失函数上加一个惩罚项，如下图所示，下图中加了一个权重的平方和，如果该系数很大，在训练过程中要得到最小损失，就必须要某些权重很小或者接近于0，所以可以达到减少网络的复杂度。
2.dropout
dropout就是指在神经网络训练过程中随机对于某些权重不更新，有助于防止网络对某条路径过度依赖
3. Early stopping
在10个epoch过后测试一次对于测试样本的反应，然后再继续训练
4.动量
加一个动量项有可能跳过局部最小值
相关文章：
相似解决方案
热门标签