为什么深度学习需要归一化

一个标准的归一化步骤就是减均值除方差,如下图,就是把数据集中分布的位置从其它地方,移到中心,注意这个数据是可以输入也可以是网络中间的某一层输出
那么我们为什么希望数据集中分布在中央,像正态分布一样呢,我认为,大多数**函数都是在中央位置曲线更平滑,斜率变动不会过大过小,能解决梯度消失和梯度爆炸问题。
由selu和Batch Normalization谈深度学习的归一化问题

selu和Batch Normalization

BN是批归一化,简单说他就是对数据减均值除方差,这个数据是可以输入也可以是网络中间的某一层输出,这样数据分布更好,得到的结果更好
selu**函数就是自归一化,selu**函数通过设置两个特殊的参数α和λ,经过该**函数后使得样本分布自动归一化到0均值和单位方差

相关文章:

  • 2021-04-20
  • 2021-04-25
  • 2021-08-13
  • 2021-09-25
  • 2021-04-02
  • 2021-05-09
猜你喜欢
  • 2021-07-02
  • 2021-04-27
  • 2021-11-21
  • 2021-12-12
相关资源
相似解决方案