使用梯度下降理解代码 wrt Logistic Regression答案

【问题标题】：Understanding code wrt Logistic Regression using gradient descent使用梯度下降理解代码 wrt Logistic Regression
【发布时间】：2018-02-20 23:56:44
【问题描述】：

我正在关注 Siraj Raval 关于使用梯度下降进行逻辑回归的视频：

1) 链接到更长的视频： https://www.youtube.com/watch?v=XdM6ER7zTLk&t=2686s

2) 短视频链接： https://www.youtube.com/watch?v=xRJCOz3AfYY&list=PL2-dafEMk2A7mu0bSksCGMJEmeddU_H4D

在视频中，他谈到了使用梯度下降来减少一组迭代次数的误差，从而使函数收敛（斜率变为零）。他还通过代码说明了这个过程。以下是代码中的两个主要功能：

def step_gradient(b_current, m_current, points, learningRate):
    b_gradient = 0
    m_gradient = 0
    N = float(len(points))
    for i in range(0, len(points)):
        x = points[i, 0]
        y = points[i, 1]
        b_gradient += -(2/N) * (y - ((m_current * x) + b_current))
        m_gradient += -(2/N) * x * (y - ((m_current * x) + b_current))
    new_b = b_current - (learningRate * b_gradient)
    new_m = m_current - (learningRate * m_gradient)
    return [new_b, new_m]

def gradient_descent_runner(points, starting_b, starting_m, learning_rate, num_iterations):
    b = starting_b
    m = starting_m
    for i in range(num_iterations):
        b, m = step_gradient(b, m, array(points), learning_rate)
    return [b, m]

#The above functions are called below:
    learning_rate = 0.0001
    initial_b = 0 # initial y-intercept guess
    initial_m = 0 # initial slope guess
    num_iterations = 1000
    [b, m] = gradient_descent_runner(points, initial_b, initial_m, learning_rate, num_iterations)
# code taken from Siraj Raval's github page

为什么 b & m 的值在所有迭代中都不断更新？经过一定次数的迭代后，当我们找到 b & m 的值使斜率 = 0 时，该函数将收敛。

那么为什么我们在那之后继续迭代并继续更新 b & m 呢？这样，我们不会失去“正确的” b & m 值吗？如果我们在收敛后继续更新值，学习率如何帮助收敛过程？因此，为什么不检查收敛性，这实际上是如何工作的？

【问题讨论】：

标签： machine-learning logistic-regression gradient-descent convergence

【解决方案1】：

在实践中，您很可能不会准确地达到坡度 0。把你的损失函数想象成一个碗。如果您的学习率太高，则可能会超过碗的最低点。相反，如果学习率太低，你的学习会变得太慢，并且在所有迭代完成之前都不会到达碗的最低点。

这就是为什么在机器学习中，学习率是一个重要的调整超参数。

【讨论】：

【解决方案2】：

实际上，一旦我们到达斜率 0； b_gradient 和 m_gradient 将变为 0；

因此，对于：

new_b = b_current - (learningRate * b_gradient)

new_m = m_current - (learningRate * m_gradient)

new_b 和 new_m 将保持旧的正确值；因为不会从它们中减去任何东西。

【讨论】：