Batch Normalization作用

Batch Normalization

Batch规范化。通过mini-batch对相应的activation做规范化操作。

用于activation set。在CNN中，应作用在非线性映射之前，即对$x = Wu +b$x=Wu+b做规范化。
统计机器学习中的经典假设：源空间和目标空间的数据分布是一致的。防止梯度弥散。加快训练速度。