批量标准化对小型网络有用吗？

Question

我们知道批量归一化 (BN) 可以加快深度神经网络的训练。但它对小型神经网络也有帮助吗？我一直在试验一个 6 层卷积 MLP 网络，我看不出 BN 在训练这个网络时有什么好处。

Answer 1

批量归一化通常用于非常深的神经网络。多层之后的层的输出随着每个小批量不断波动，并且层必须不断追逐一个移动的目标。

但是，对于浅层神经网络，这不是什么大问题，因为波动在一个狭窄的范围内，不会造成移动目标的问题。所以对于浅层神经网络，你也可以选择不进行批量归一化的训练，它会按预期工作。