批量标准化[关闭]

Question

为什么batch normalization是作用于相同特征的不同样本而不是同一样本的不同特征？不应该是不同特征的归一化吗？在图中，为什么我们使用第一行而不是第一栏？ 有人可以帮帮我吗？

Answer 1

因为同一个对象的不同特征意味着不同的东西，对这些值计算一些统计数据是不合逻辑的。它们可以有不同的范围、平均值、标准等。你的一个特征可能意味着一个人的年龄，另一个是这个人的身高。如果您计算这些值的平均值，您将不会得到任何有意义的数字。

在经典机器学习（尤其是线性模型和 KNN）中，您应该标准化您的特征（即计算整个数据集上特定特征的均值和标准差，并将您的特征转换为 (X-mean(X)) / std( X） ）。批量归一化类似于应用于随机优化方法，如 SGD（在小批量上使用全局统计信息没有意义，此外，您希望比在第一层之前更频繁地使用批量规范）。更多基本想法可以在original paper

中找到