如何使用规范化和标准化来提高深度学习性能？

Question

我有 8160 个数据集，输入的形状是 (1500,1)，输出的形状是 (2500,1)。输入值介于 -80 到 3 之间。输出值介于 0 或 1 之间。

我认为，通过使用全局最大值和全局最小值将归一化应用于输入。然后我意识到，通过使用该输入的局部最大值和局部最小值分别对每个特定输入使用归一化。然后我尝试了它们，局部归一化得到了更好的结果。

我无法理解这一点。例如，通过使用局部归一化，'0' 对应于输入 1 的 -20，'0' 对应于输入 2 的 -80。我认为，关于输入 1 和输入 2 的有用和比较信息丢失了。有人可以帮助我理解这一点，局部归一化如何提供更好的结果？还是我的模型有问题？谢谢。

Answer 1

简而言之：神经网络的优化通常使用梯度下降算法进行。标准化或标准化变量有助于算法收敛，因为输入特征的大小会影响状态大小。特征大小差异很大

更多详情请查看here 和here。

正如第二个链接的作者所说：

使用此类未处理的数据作为线性回归系统的输入特征可能会使梯度下降算法减慢速度。发生这种情况是因为 [...] 这种未归一化的数据扭曲了梯度下降必须处理的成本函数，使得极小点真的很难达到。