Deep learning II - I Practical aspects of deep learning - Normalizing inputs 输入归一化

Normalizing inputs 输入归一化

---

1. 输入归一化能够加快训练速度
2. 首先，将输入减去均值

μ=1m∑i=1mx(i)$$\mu =\frac{1}{m}\sum _{i=1}^m{x}^{(i)}$$

x:=x−μ$$x:=x-\mu$$

3. 其次，方差归一化

σ2=1m∑i=1mx(i)∗∗2(∗∗meanselement−square)$${\sigma }^2=\frac{1}{m}\sum _{i=1}^m{x}^{(i)}\ast \ast 2(\ast \ast meanselement-square)$$

x:=x/σ2$$x:=x/{\sigma }^2$$

4. 使用在test set得到的μ,σ2$\mu ,{\sigma }^2$来处理dev set 或者test set

如果输入的变量范围差别很大（0-1，0-1000），那就很有必要使用上述方法