【发布时间】:2019-02-15 05:16:07
【问题描述】:
我正在进行 2 次梯度下降迭代(初始条件:learning_rate = 0.1 和 [w0,w1] = [0,0])以找到线性模型的 2 个参数(y_hat = w0 + w1*x)适合一个简单的数据集,x=[0,1,2,3,4] 和 y=[0,2,3,8,17]。通过使用闭式公式,我发现 w0 = -2 和 w1 = 4。对于梯度下降的前 2 次迭代,我发现 w0 = 0.6,w0 = 0.74。然而,我认为,如果梯度下降中没有发生过冲,我应该期望 w0 在给定梯度下降的初始条件和我从封闭形式解决方案中得到的答案的情况下,每次迭代都会减小。如果误差函数是凸函数,为什么会发生这种情况?
【问题讨论】:
-
我建议在初始启动参数为 -2.1 和 4.1 的情况下进行测试,这样可以更轻松地解决问题。接近正确解的启动参数应该很快完成。
标签: machine-learning linear-regression gradient-descent