【发布时间】：2018-11-16 19:21:43
【问题描述】：
在图像预处理阶段有必要进行零居中。
但我不知道为什么有些论文减去了全局平均值（整个训练集的平均值），而其他论文只是减去了局部平均值（每个 mini-batch 的平均值）。你能解释一下这个想法吗？
PS：在零中心中，我们是否要减去每个通道的平均值？
【问题讨论】：
标签： machine-learning neural-network deep-learning computer-vision normalization
【发布时间】：2018-11-16 19:21:43
【问题描述】：
零中心作为预处理步骤有很多优点，但为了澄清问题，只有当您有理由相信不同的输入特征具有不同的尺度时，才有意义应用此预处理（或单位），但它们应该与学习算法大致同等重要。在图像的情况下，像素的相对比例已经大致相等（并且在 0 到 255 的范围内），因此没有必要执行这个额外的预处理步骤。 Find more Information here
小批量内的归一化通常称为“批量归一化”，并遵循解决梯度消失/爆炸问题和每个层的输入分布在训练过程中作为前一个参数而变化的问题层变化。通过在每一层之前进行零中心化和归一化，网络学会了应对这种“内部协变量偏移”。 Find more Information here
PS：作为预处理步骤的零中心化可以通过除以标准偏差来完成，也可以根据分布的最小值/最大值进行缩放（这通常在所有渠道 / 特征，取决于您的数据以及您是否希望它们对训练产生相同的影响，但也可能存在例外）。
【讨论】：