【发布时间】:2019-05-06 01:47:10
【问题描述】:
所以我是学习 ML 的新手,我正在使用梯度下降作为我想要擅长和学习的第一个算法。我编写了我的第一个代码并在网上查找了我面临的问题,但由于缺乏具体知识,我很难理解如何诊断我的问题。我的梯度从接近正确答案开始,当误差减少 8 倍时,算法失去它的值,b 值开始变为负数,m 值超过目标值。如果我措辞奇怪,我很抱歉,希望代码会有所帮助。
我从 youtube 和 google 上的多个来源了解到这一点。我一直在 youtube 上关注 Siraj Raval 的智能数学播放列表,我了解底层算法是如何工作的,但我决定采用自己的方法,它似乎效果不太好。我正在努力阅读在线资源,因为我对算法的含义以及它是如何在 python 中实现的缺乏经验。我知道这个问题与培训和测试有关,但我不知道在哪里应用。
def gradient_updater(error, mcurr, bcurr):
for i in x:
# gets the predicted y-value
ypred = (mcurr * i) + bcurr
# uses partial derivative formula to get new m and b
new_m = -(2/N) * sum(x*(y - ypred))
new_b = -(2/N) * sum(y - ypred)
# applies the new b and m value
mcurr = mcurr - (learning_rate * new_m)
bcurr = bcurr - (learning_rate * new_b)
return mcurr, bcurr
def run(iterations, initial_m, initial_b):
current_m = initial_m
current_b = initial_b
for i in range(iterations):
error = get_error(current_m, current_b)
current_m, current_b = gradient_updater(error, current_m, current_b)
print(current_m, current_b, error)
我预计 m 和 b 值会收敛到一个特定值,但这并没有发生,并且值一直在相反的方向增加。
【问题讨论】:
-
你最小化的函数是什么? “线搜索”的想法是否告诉你一些事情?如果你把你的函数乘以 100,你能保证你的算法找到和以前相似的步骤吗?
标签: python algorithm machine-learning gradient