NN 中数值输入的归一化

Question

我阅读了很多关于 CNN 中图像归一化的论文。 但我没有找到这个案子的答案。 比方说，我的第一层的输入是： [1, 4234, 90420394.43, 0] 我必须规范化它吗？ 因为，梯度下降应该能够自己识别出什么是重要的参数，以及如何用 W 的矩阵来处理它？

最后一个问题，如果我真的必须对此进行规范化，我会有一个介于 0 和 1 之间的值向量吗？ 信息不会丢失吗？ （而且因为它似乎只是重新调整，所以相对差异保持不变，那么，在这种情况下是怎么回事？）

Answer 1

答案并非特定于 CNN 中的图像，而是一般的神经网络。您认为梯度下降应该能够解决的直觉是正确的，系统应该学会自然扩展，但是具有相同规模的输入有助于将梯度步骤保持在相同的规模上，这将有助于您的网络收敛更快（没有这个，网络可能无法收敛）。

此外，正则化等技术直接使用权重值，因此可能会受到不平衡尺度的影响。

还有batch normalization，常用于图像CNN，与归一化输入值无关。