防止过拟合的方法
解决过拟合有两个方向：
减少特征，人为选择简单模型；
保留所有特征，但是减少每个特征的权重；
1、simpler model structure
2、regularization
正则化，解决过拟合的一种方法。
http://www.cnblogs.com/jianxinzhou/p/4083921.html
3、data augmentation
4、dropout
在每个mini-batch中，按概率删掉一部分神经元，删掉的这部分神经元的输出就设为0。反向传播时，就不更新这些神经元的参数。
在下一个mini-batch中，恢复这些删掉的神经元，再选一批神经元删掉。
5、Bootstrap/Bagging
6、ensemble
训练多个模型，然后组合这多个模型。但不仅训练起来费时，测试起来多个模型也很费时
7、early stopping
8、utilize invariance
9、Bayesian