【问题标题】:Gradient Descent basic algorithm overshooting and doesn't converge in python梯度下降基本算法过冲并且在python中不收敛
【发布时间】:2019-05-06 01:47:10
【问题描述】:

所以我是学习 ML 的新手,我正在使用梯度下降作为我想要擅长和学习的第一个算法。我编写了我的第一个代码并在网上查找了我面临的问题,但由于缺乏具体知识,我很难理解如何诊断我的问题。我的梯度从接近正确答案开始,当误差减少 8 倍时,算法失去它的值,b 值开始变为负数,m 值超过目标值。如果我措辞奇怪,我很抱歉,希望代码会有所帮助。

我从 youtube 和 google 上的多个来源了解到这一点。我一直在 youtube 上关注 Siraj Raval 的智能数学播放列表,我了解底层算法是如何工作的,但我决定采用自己的方法,它似乎效果不太好。我正在努力阅读在线资源,因为我对算法的含义以及它是如何在 python 中实现的缺乏经验。我知道这个问题与培训和测试有关,但我不知道在哪里应用。

def gradient_updater(error, mcurr, bcurr):

    for i in x:
        # gets the predicted y-value
        ypred = (mcurr * i) + bcurr
        # uses partial derivative formula to get new m and b
        new_m = -(2/N) * sum(x*(y - ypred))
        new_b = -(2/N) * sum(y - ypred)
    # applies the new b and m value
    mcurr = mcurr - (learning_rate * new_m)
    bcurr = bcurr - (learning_rate * new_b)
    return mcurr, bcurr

def run(iterations, initial_m, initial_b):

    current_m = initial_m
    current_b = initial_b
    for i in range(iterations):
        error = get_error(current_m, current_b)
        current_m, current_b = gradient_updater(error, current_m, current_b)
        print(current_m, current_b, error)

我预计 m 和 b 值会收敛到一个特定值,但这并没有发生,并且值一直在相反的方向增加。

【问题讨论】:

  • 你最小化的函数是什么? “线搜索”的想法是否告诉你一些事情?如果你把你的函数乘以 100,你能保证你的算法找到和以前相似的步骤吗?

标签: python algorithm machine-learning gradient


【解决方案1】:

如果我正确理解您的代码,我认为您的问题是您采用偏导数来获得新的斜率并仅在一点上截距。我不确定 gradient_updater 中的一些变量到底是什么,所以我将尝试提供一个更好地解释这个概念的示例:

我不确定我们是否以相同的方式计算优化,因此在我的代码中,b0 是 y=mx+b 中的“x”,而 b1 是相同等式中的“b”。以下代码用于计算 b0_temp 和 b1_temp 的总和,将其除以批量大小以呈现新的 b0 和 b1 以适合您的图表。

for i in range(len(X)):

    ERROR = ERROR + (b1*X[i] + b0 - Y[i])**2

    b1_temp = b1_temp + (1/2)*((1/len(X))*(b1*X[i] + b0 - Y[i])**2)**(-1/2) * (2/len(X))*(b1*X[i] + b0 - Y[i])*X[i]
    b0_temp = b0_temp + (1/2)*((1/len(X))*(b1*X[i] + b0 - Y[i])**2)**(-1/2) * (2/len(X))*(b1*X[i] + b0 - Y[i])

我对数据集中的每个值都进行了此操作,其中 X[i] 和 Y[i] 代表一个单独的数据点。

接下来,我调整当前拟合图形的斜率:

        b1_temp = b1_temp / batch_size
        b0_temp = b0_temp / batch_size

        b0 = b0 - learning_rate * b0_temp
        b1 = b1 - learning_rate * b1_temp

        b1_temp = 0
        b0_temp = 0

batch_size 可以取为len(X)。我运行了一些时期(即某个数字的 for 循环,100 应该工作),并且最佳拟合线将随着时间的推移相应调整。其背后的总体概念是将每个点与线之间的距离减小到最小。

希望我能够更好地向您解释这一点,并为您提供一个基本的代码库来调整您的代码!

【讨论】:

    【解决方案2】:

    这就是我认为您的代码中的错误所在 - 梯度的计算。我相信您的成本函数类似于https://ml-cheatsheet.readthedocs.io/en/latest/gradient_descent.html 中使用的成本函数。要解决梯度,您需要聚合所有偏导数的效果。然而,在您的实现中,您迭代范围 x,而不累积效果。因此,您的new_m 和new_b 仅针对最后期限计算,x(下面标记为 1 和 2 的项目)。

    您的实施:

    def gradient_updater(error, mcurr, bcurr):
        for i in x:
            # gets the predicted y-value
            ypred = (mcurr * i) + bcurr
            # uses partial derivative formula to get new m and b
            new_m = -(2/N) * sum(x*(y - ypred))    #-- 1 --
            new_b = -(2/N) * sum(y - ypred)    #-- 2 --
        # applies the new b and m value <-- Indent this block to place inside the for loop
        mcurr = mcurr - (learning_rate * new_m)
        bcurr = bcurr - (learning_rate * new_b)
        return mcurr, bcurr
    

    也就是说,如果您只是在每次迭代中更新 mcurr 和 bcurr,我认为您的实现应该更接近数学公式(请参阅内联注释)。另一件事是在计算new_m 和new_b 时也将sum(x*(y - ypred)) 和sum(y - ypred) 除以N。

    注意 由于我不知道您的实际成本函数是什么,我只想指出您还在代码中使用了常量 y 值。它更有可能是一个不同值的数组,分别被 Y[i] 和 X[i] 调用。

    【讨论】:

    • 非常感谢它的工作,我使用了它并稍微调整了我的错误方程,现在它可以工作了。
    猜你喜欢
    • 1970-01-01
    • 2017-03-24
    • 1970-01-01
    • 2015-02-18
    • 2019-01-31
    • 2020-04-28
    • 1970-01-01
    • 2023-03-12
    • 2018-07-05
    相关资源
    最近更新 更多