【问题标题】:Why does the intercept parameter increases in an unexpected direction?为什么截距参数会以意想不到的方向增加?
【发布时间】:2019-02-15 05:16:07
【问题描述】:

我正在进行 2 次梯度下降迭代(初始条件:learning_rate = 0.1 和 [w0,w1] = [0,0])以找到线性模型的 2 个参数(y_hat = w0 + w1*x)适合一个简单的数据集,x=[0,1,2,3,4] 和 y=[0,2,3,8,17]。通过使用闭式公式,我发现 w0 = -2 和 w1 = 4。对于梯度下降的前 2 次迭代,我发现 w0 = 0.6,w0 = 0.74。然而,我认为,如果梯度下降中没有发生过冲,我应该期望 w0 在给定梯度下降的初始条件和我从封闭形式解决方案中得到的答案的情况下,每次迭代都会减小。如果误差函数是凸函数,为什么会发生这种情况?

【问题讨论】:

  • 我建议在初始启动参数为 -2.1 和 4.1 的情况下进行测试,这样可以更轻松地解决问题。接近正确解的启动参数应该很快完成。

标签: machine-learning linear-regression gradient-descent


【解决方案1】:

您实际上误解了梯度下降。梯度下降并不是说在每次迭代中所有权重都会朝着各自的最佳值移动,而是说如果提供了准确的超参数,你总是会朝着最小成本移动。在您使用 [0,0] 初始化权重的情况下,不存在 alpha 值,这将否定上述效果,因为当 w0 从 0.6 变为 0.74(认为这是一个向量)并且 w1 从 2 移动到 2.68(考虑这个另一个向量)然后得到的向量是这样的,它以最陡的下降速度向下移动,这就是 GD 所解释的,即权重沿着成本函数向下移动的集体方向。

您可以通过绘制成本图来验证这一点,并且在第二次迭代之后,b 值确实向 -2 移动,因为在该方向上的第二次迭代之后 w0 是最陡峭的。

下图是w0在不同迭代时的值,x_axis=w0 and y_axis=iteration_no

现在我们可以清楚地看到你提到的开头的小凹口了。

下面是不同迭代的成本图

这条成本曲线你可以清楚地看到,每次迭代的成本都在下降,也就是说,我们不断地沿着最陡峭的方向下山,这就是梯度下降,这就是 GD 的实际工作。是的,在学习我们的模型期间,我们可能会遇到这样的行为,即我们的权重与所需值相反,但因为我们正在下山,我们总是会收敛到权重的最小值和正确值。

现在,如果它仍然让您烦恼,那么解决此问题的唯一方法是更改​​权重的初始值,因为调整 learning_Rate 不会通过 [0,0] 初始化解决此问题。

所以用相同的 learning_rate 用 [-0.1,3.1] 初始化

现在您可以清楚地看到,一开始并没有这样的向上缺口,因为现在成本值在权重也朝着其最佳值方向移动的方向下降,即 [-2,4]

现在您还可以看到,成本和 w0 在比以前更少的迭代中接近所需值,这是因为现在我们的初始化非常接近所需值。

还有更多这样的初始化可以给你这个结果。

结论 - GD 总是沿着最陡峭的路径下山

快乐的机器学习...

【讨论】:

  • 感谢您的解释。真正困扰我的是,给定线性回归模型的误差函数是一个凸函数,我们从 w0=0 开始,结束 w0=-2,不应该是 w0 VS 的 2D 图。误差函数是一个以-2为中心的凸抛物线?如果是这种情况,w0 = 0 应该在 -2 的右侧,它始终具有正斜率。如果我们从 0 开始并且斜率始终为正,那么我们应该始终沿斜率的相反方向移动以减小 w0。或 w0 VS。误差函数图其实不是完美的凸函数?
  • 一个凸函数总是有一个全局最小值并且没有局部最优值,所以如果你绘制包含 w0、w1 和误差的 3D 曲线,那么在位置 0,0 你会注意到虽然有向下的山w0 的负侧,但最平坦的方向有点朝向正侧,因此 GD 与最平坦的方向一致,实际上该图非常类似于 0,0 附近的山谷。一旦您绘制 3D 曲线并缩放到 0,0 附近,您就会得到我所说的更好的直觉
  • 我知道绘制 w0 w1 和成本函数的 3D 曲线肯定会帮助我消除我的困惑。但是在阅读了一些教程后,我被困在使用 python 和 matplotlib 绘制这样的图表上。是否有您推荐的教程或除 python 之外的其他方式来获取图表?谢谢。
  • stackoverflow.com/questions/28542686/… ,参考这个答案中的代码即使你看不懂也只需复制粘贴,但它的代码非常简洁易懂
猜你喜欢
  • 1970-01-01
  • 2015-02-21
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-04-15
  • 2013-11-30
  • 1970-01-01
相关资源
最近更新 更多