将输入数据缩放到神经网络

Question

我们是否必须为神经网络缩放输入数据？它如何影响神经网络的最终解？

我试图找到一些可靠的来源。 《统计学习要素》一书（第 400 页）说，这将有助于选择合理的初始随机权重。

无论我们使用的初始随机权重如何，最终权重都不是确定性的吗？

谢谢。

Answer 1

首先，人工神经网络有很多种类型，我假设您说的是最简单的一种——带有反向传播的多层感知器。

其次，在您的问题中，您将数据缩放（归一化）和权重初始化混为一谈。

您需要随机初始化权重以避免学习时的对称性（如果所有权重最初都相同，则它们的更新也将相同）。通常，具体值无关紧要，但太大的值会导致收敛速度变慢。

您不是需要规范化您的数据，但规范化可以加快学习过程。有关详细信息，请参阅this question。