在 DNN 中应用批规范与仅使用权重和偏差有什么区别？

Question

Batch Norm 是一组应用于每个层的输入值的操作。它具有加速网络学习和在每一层中引入噪声的优点。

操作总结如下：

$$\mu = frac{1}{m} \sum{z^{(i)}}$$

$$\sigma^2 = \frac{1}{m} \sum{(z^{(i)} - \mu)^2}$$

$$z^{(i)}_{norm} = \frac{z^{(i)} - \mu}{\sqrt{\sigma^2 + \epsilon}}$$

$$\tilde z^{(i)} = \gamma z^{(i)}_{norm} + \beta$$

$\gamma, \beta$ 只是与每一层的输入值相乘的标量参数。该层的权重和偏差做同样的事情。它们之间有什么区别。

添加新的可学习参数$\gamma, \beta$是否试图达到在神经网络中将隐藏层加倍的相同效果？

Answer 1

batch norm 是对每个 mini batch 的输入进行标准化，否则不会。