推理时是否关闭了 BatchNorm？

Question

我从几个来源读到暗示关闭 batchnorm 以进行推理，但我对此没有明确的答案。

Answer 1

最常见的是使用均值和标准差的移动平均值进行批标准化，例如 Keras 使用的 (https://github.com/keras-team/keras/blob/master/keras/layers/normalization.py)。如果您只是将其关闭，由于图像处理方式的变化，网络在相同数据上的表现会更差。

这是通过存储网络训练期间使用的所有批次的平均均值和平均标准差来完成的。然后在推断中，该移动平均线用于归一化。