归一化介绍

归一化输入包括两个部分:

  • 归一化均值
  • 归一化方差

对于有两个输入特征(features)的数据,先归一化均值再归一化方差。
吴恩达神经网络和深度学习-学习笔记-8-归一化输入Normalizing inputs
最后x1和x2的均值均为0,方差均为1。

提示一下,如果你用这种方法来调整数据,那么用相同的μ和σ2来归一化测试集(尤其是训练集和测试集的归一化应该相同,即用同样的方法调整测试集,而不是在训练集和测试集上分别预估μ和σ2)。

归一化的好处

吴恩达神经网络和深度学习-学习笔记-8-归一化输入Normalizing inputs
如果在左图这样的代价函数上运行梯度下降算法,你就必须使用一个非常小的学习率。因为如果是在这个位置,梯度下降算法可能需要多次迭代过程,直到最后找到最小值。
如果函数是一个更圆的球形轮廓,那么不论从哪个位置开始,梯度下降算法都能更直接地找到最小值,这使得我们可以在梯度下降法中使用较大的步长,而不需要像在左图那样反复执行(即使得代价函数J优化起来更简单更快速)(只要各个特征在相似范围即可)。

如果特征值处于相似范围内,俺么归一化就不是很重要了。但执行这类归一化也不会产生什么危害,所以归一化操作也可以作为常规操作。

相关文章:

  • 2021-11-20
  • 2021-11-20
  • 2021-09-29
  • 2021-07-30
  • 2021-07-15
  • 2021-05-05
  • 2021-11-05
  • 2021-10-19
猜你喜欢
  • 2021-10-14
  • 2021-11-26
  • 2021-07-11
  • 2021-10-10
  • 2021-10-09
  • 2021-10-28
  • 2021-11-10
相关资源
相似解决方案