【问题标题】：Normalization method for Convolutional Neural Network卷积神经网络的归一化方法
【发布时间】：2018-10-17 01:44:21
【问题描述】：
常见的图像数据归一化方法有3种，分别是
1. X = (X - X.mean) / X.std
2. X /= 255. # (based on formula: (X - min) / (max - min) which can converge data into [0, 1].)
3. X = 2 * (X - min) / (max - min) - 1 # converge into [-1, 1]
我在不同的 CNN 教程或帖子中发现，人们可能会使用其中一个来规范化数据。但是我有点迷茫，不同情况下应该如何选择呢？
提前感谢您的任何解释。
【问题讨论】：
标签：
neural-network
deep-learning
normalization
cross-validation
convolutional-neural-network
【解决方案1】：
一般来说，我们对图像进行归一化的原因是为了让模型更快收敛。当数据未归一化时，网络的共享权重对不同的特征有不同的校准，这会使成本函数收敛非常缓慢且无效。规范化数据使成本函数更容易训练。
您选择哪种归一化方法取决于您正在处理的数据以及您对该数据所做的假设。以上三种归一化方法都是基于两个思想，即居中和缩放。方法 2. 仅涉及将数据缩放到特定范围。这确保了各种特征的比例在相似的范围内，因此提供了稳定的梯度。方法 1. 涉及以平均数据点为中心的数据，然后将数据点的每个维度除以其标准差，以便所有维度对学习算法具有同等重要性。当您有理由相信数据中的不同维度具有很大不同的范围时，这种标准化会更有效。使所有维度都在同一范围内，从而使参数共享有效。方法 3 也可以看作是在做与方法 1 相同的工作。