一、为什么要Normalization?
二、常见的Normalization方法(BN、LN、IN、GN)
这节课我们来学习常见的Normalization方法(BN、LN、IN、GN)。
一、为什么要Normalization?
其实这个问题在BN的论文中已经给了答案了，就是因为在深度学习中，出现一个ICS的问题。数据尺度/分布的异常，导致模型训练困难。
二、常见的Normalization方法(BN、LN、IN、GN)
这四种Normalization，相同的地方是，都要进行归一化，即加减乘除操作。那他们的不同点在哪里？因为beta和gamma都是超参数，所以不同的地方在于均值和方差的求取方式。
LN : 是在网络层里面找均值和方差。
IN：实例，就是一张图片。主要针对图像生成使用。
GN：分组。
1. Layer Normalization
BN不适用于变长的网络，比如RNN。比如右边的图。
2. Instance Normalization
3. Group Normalization