4.正则化
5.正则化为什么能防止过拟合
6.Dropout正则化
7.理解Dropout正则化
归一化方差之后所有特征的方差为1,均值为0
归一化输入步骤
1.计算每个特征所有样本数据的均值： ；
减去均值得到对称的分布： ；
2.归一化方差： ，
。
归一化输入的好处
经过归一化输入之后，所有的特征在相似的范围之内，且方差都为1。使得cost函数图像从一个狭长的碗变为较为规则的碗（如果某一特征的取值范围较大，而cost函数中包含该变量，那么图像沿着该方向被拉长）左图要使用较小的学习效率，导致迭代次数较多，而右图可在较少的迭代次数之内到达最低点。
10.梯度消失于梯度爆炸
11.利用初始化缓解梯度消失于梯度爆照
12.梯度的数值逼近
13.梯度的检验