深度神经网络：层次非常深的神经网络
归一化：把输入数据做一个规整，使得它均值为0，方差为1。
Min-max归一化：x’=(x-min)/(max-min)
Z-score归一化：x’=(x-u)/O
批归一化：把归一化的思路从输入数据上，扩展到网络的每层**值上。
左图：未归一化，等高线是椭圆，在椭圆上计算梯度时，指向的不一定是圆心，训练轨迹曲折。
右图：归一化，等高线是正圆。法线方向对着圆心。
Dropout:随机丢弃神经单元
作用：防止过拟合（训练集上很好，测试集上不好，参数太多，记住样本，不能泛化）