Batch Normalization在CNN中的具体实现(图解),以及对应的其他Normalization类型

Batch Normalization

在每个通道(C)上对当前mini batch中全部样本(N)上的全部像素(H,W)进行标准化。即对N×H×W个像素进行标准化。

Tips:BN在训练时计算每个mini batch中的均值和方差,在测试时会调用训练时的均值和方差,当训练和测试的分布存在较大差异时,容易产生问题。

Layer Normalization

对当前mini batch中的每个样本(N)的全部通道(C)中的全部像素(H,W)进行标准化。即对C×H×W个像素进行标准化。

Instance Normalization

对当前mini batch中的属于每个样本(N)的每个通道(C)中的全部像素(H,W)进行标准化。即对H×W个像素进行标准化。

相关文章:

  • 2021-12-04
  • 2021-06-10
  • 2021-12-04
  • 2021-06-01
  • 2021-08-15
  • 2022-12-23
  • 2021-05-27
  • 2021-10-07
猜你喜欢
  • 2021-09-21
  • 2021-09-30
  • 2021-07-24
  • 2021-04-22
  • 2021-12-07
  • 2021-09-25
相关资源
相似解决方案