深度学习入门笔记手稿（六）正则化输入

深度学习入门笔记手稿（六）正则化输入

• 正则化输入

正则化输入

训练神经网络其中一个加速训练方法就是归一化输入
假设训练集有两个输入特征x={x1，x2} 是一个二维的
归一化输入需两步，第一步零均值化 第二步 归一化方差（对x1方差比x2方差大很多的情况特别有效）具体如图中所示。
完成后，的均值和方差分别为0和1.
如果用归一化来调整训练数据，再用相同的归一化中的超参数归一化测试集，而不是在训练集和测试集上分别预估归一化中的超参数。

归一化中的超参数是由训练集数据计算得来的。