一:特征缩放
为什么要特征缩放? 在我们面对多维特征问题的时候,我们要保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛,减少梯度下降的循环次数。
以房价问题为例,假设我们使用两个特征,房屋的尺寸和房间的数量,尺寸的值为 0-2000 平方英尺,而房间数量的值则是 0-5,以两个参数分别为横纵坐标,绘制代价函数的等高线图能,看出图像会显得很扁,如下图所示,而且梯度下降算法需要非常多次的迭代才能收敛。

梯度下降法实践(特征缩放与学习率)
解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间,如下图。
梯度下降法实践(特征缩放与学习率)
最简单的方法是令梯度下降法实践(特征缩放与学习率),其中 ????????是平均值,????????是标准差。

二:学习率
在之前的梯度学习算法中可以得知,梯度下降算法的每次迭代受到学习率的影响,如果学习率????过小,则达到收敛所需的迭代次数会非常高;如果学习率????过大,每次迭代可能不会减小代价函数,可能会越过局部最小值导致无法收敛。 通常可以考虑尝试些学习率: ???? = 0.01,0.03,0.1,0.3,1…这些值,然后绘制代价函数J随迭代步数变化的曲线。然后取函数J快熟下降的一个a值。

相关文章:

  • 2021-08-07
  • 2021-09-19
  • 2021-12-22
  • 2021-09-14
  • 2021-07-07
  • 2021-04-26
  • 2021-11-01
  • 2021-05-21
猜你喜欢
  • 2021-09-18
  • 2021-06-27
  • 2021-09-12
  • 2021-07-03
  • 2021-04-18
  • 2022-12-23
  • 2021-06-12
相关资源
相似解决方案