梯度下降 - 步长值答案

【问题标题】：Gradient Descent - Step Value梯度下降 - 步长值
【发布时间】：2017-01-23 00:50:02
【问题描述】：

让k = alpha * partial_derivative ( J (theta1) ) w.r.t theta1

theta1 := theta1 - k.

在 Andrew 的课程中，他说 alpha 是学习率。如果导数为正，我们减去alpha * k，如果为负，我们添加它。为什么我们需要减去这个alpha * partial_derivative ( J (theta1) ) w.r.t theta1 而不是alpha * just the sign of derivative？

那里的乘法需要什么？谢谢。

【问题讨论】：

标签： machine-learning gradient-descent

【解决方案1】：

我们需要减小 k 的值 - 当我们达到最小值时的步长值。正如我们所知，当我们达到最小值时，导数也变为零。因此，我们将 alpha 和导数相乘以生成一个在达到最小值时趋于零的步进值。

【讨论】：