如果已经缩放了神经网络，您是否必须对其数据进行归一化？

Question

我目前正在尝试为多层感知器预处理我的训练数据。我下载的数据由 20,000 个实例和 16 个属性组成，所有这些都是像素的坐标值，作为字母识别的一部分。数据本身在发布之前已经从其原始形式缩放为 0 - 15 之间的值。

但是既然已经被缩放了，还需要对其进行归一化吗？我试图四处阅读并查看以前的示例，但提出了相互矛盾的观点。在一些论文中，它指出缩放是标准化的一种形式，正如其他人所说的那样，标准化会将这个值带到 0-1 的范围内。

由于我使用的是 WEKA，因此我在预处理阶段尝试了他们的归一化过滤器，结果导致准确度下降了 2% 左右，这让我认为这可能是不必要的。但同样，我读到它可能只会在训练后期产生积极影响。

所以我的问题是：

缩放到 0 - 15 等范围和标准化之间有什么区别？我还应该在已经完成的缩放之上对其进行标准化吗？

Answer 1

在您的情况下，您不需要。对数据进行归一化处理，使不同尺度的属性不会决定距离运算的结果，最终决定聚类或分类结果。

举个例子，你有两个属性重量和收入。重量最多为 10 和 200 公斤。虽然收入可以是 10,000 美元和 20,000,000 美元。但大多数人的收入将是10,000和120,000，而高于此值将是异常值。如果您在使用多层感知器之前未对数据进行归一化，则您的神经网络的结果将由这些异常值决定。

在您的情况下，由于您的缩放，这种情况已经得到缓解，因此您不需要规范化。