机器学习中数据预处理背后的直觉

Question

我正在通过CS231n 了解神经网络的基础知识。

附件是贾斯汀（导师）解释为什么需要数据预处理的幻灯片，我不完全理解。给出的解释与幻灯片上给出的解释相似，我不明白。幻灯片如下。

我的第二个问题是：它实际上是标准化还是标准化？这个链接暗示它是standardisation，而课程资料说它是normalisation。

任何帮助将不胜感激。

Answer 1

A）“对权重的微小变化不太敏感”的含义可以很容易地想象出来。想象一下，对绘制的超平面的权重进行一点改变，即稍微旋转一下。如果样本位于原点附近，您会注意到它们仍然可以正确分类。如果它们离原点很远，同样小的权重变化将导致更大的错误分类。

B) 有时标准化和标准化可以互换使用。

标准化：我引用 Bishop 的机器学习和模式识别：“出于本示例的目的，我们对数据进行了线性重新缩放，称为标准化，使得每个变量的均值和单位标准差为零。”

规范化可以是例如将所有特征值缩放到 [0,1] 范围时的 min-max 归一化，或将特征向量除以其模数时的特征向量归一化。