梯度下降 MATLAB 脚本

Question

所以我编写了以下 MATLAB 代码作为 梯度下降 的练习。我显然选择了一个最小值为 (0,0) 的函数，但算法将我抛出到 (-3,3)。

我确实发现在xGrad 和yGrad 之间在线切换：[xGrad,yGrad] = gradient(f); 可以实现正确的收敛，尽管xGrad、yGrad 与预期的差不多2*X、2*Y .我想我在这里颠倒了一些东西，但我一直在试图弄清楚它是什么，但我不明白，所以我希望有人能注意到我的错误......

dx=.01;
dy=.01;
x=-3:dx:3;
y=-3:dy:3;
[X,Y]=meshgrid(x,y);

f=X.^2+Y.^2;

lr = .1; %learning rate
eps = 1e-10; %epsilon threshold
tooMuch = 1e5; %limit iterations
p = [.1 1]; %starting point
[~, idx] = min( abs(x-p(1)) ); %index of closest value
[~, idy] = min( abs(y-p(2)) ); %index of closest value
p = [x(idx) y(idy)]; %closest point to start
[xGrad,yGrad] = gradient(f); %partial derivatives of f
xGrad = xGrad/dx; %scale correction
yGrad = yGrad/dy; %scale correction

for i=1:tooMuch %prevents too many iterations    
    fGrad = [ xGrad(idx,idy) , yGrad(idx,idy) ]; %gradient's definition
    pTMP = p(end,:) - lr*fGrad; %gradient descent's core
    [~, idx] = min( abs(x-pTMP(1)) ); %index of closest value
    [~, idy] = min( abs(y-pTMP(2)) ); %index of closest value
    p = [p;x(idx) y(idy)]; %add the new point
    if sqrt( sum( (p(end,:)-p(end-1,:)).^2 ) ) < eps %check conversion
        break
    end
end

感谢所有帮助的人

编辑：纠正错别字并使代码更清晰。它仍然做同样的事情并且有同样的问题

Answer 1

meshgrid 返回的 X 矩阵的 X 值在列中增加，而不是在行中！例如[X, Y] = meshgrid(-1:1, 1:3) 返回

     [-1  0  1;           [1  1  1;
X  =  -1  0  1;       Y =  2  2  2;
   =  -1  0  1];           3  3  3];

注意x-index应该如何放在X或Y的列中，y-index应该放在行中。具体来说，您的线路：

fGrad = [ xGrad(idx,idy) , yGrad(idx,idy) ]; %gradient's definition

应该是：

fGrad = [ xGrad(idy,idx) , yGrad(idy,idx) ]; %gradient's definition

idy 变量应该索引 行，idx 变量应该索引 列

Answer 2

最终我没有弄清楚以前的方法有什么问题，但是这里有一个梯度体面的替代脚本，我用它来解决同样的问题：

syms x y
f = -20*(x/2-x^2-y^5)*exp(-x^2-y^2); %cost function
% f = x^2+y^2; %simple test function

g = gradient(f, [x, y]);
lr = .01; %learning rate
eps = 1e-10; %convergence threshold
tooMuch = 1e3; %iterations' limit
p = [1.5 -1]; %starting point
for i=1:tooMuch %prevents too many iterations
    pGrad = [subs(g(1),[x y],p(end,:)) subs(g(2),[x y],p(end,:))]; %computes gradient
    pTMP = p(end,:) - lr*pGrad; %gradient descent's core
    p = [p;double(pTMP)]; %adds the new point
    if sum( (p(end,:)-p(end-1,:)).^2 ) < eps %checks convergence
        break
    end
end
v = -3:.1:3; %desired axes
[X, Y] = meshgrid(v,v);
contour(v,v,subs(f,[x y],{X,Y})) %draws the contour lines 
hold on
quiver(v,v,subs(g(1), [x y], {X,Y}),subs(g(2), [x y], {X,Y})) %draws the gradient directions 
plot(p(:,1),p(:,2)) %draws the route
hold off
suptitle(['gradient descent route from ',mat2str(round(p(1,:),3)),' with \eta=',num2str(lr)])
if i<tooMuch
    title(['converged to ',mat2str(round(p(end,:),3)),' after ',mat2str(i),' steps'])
else
    title(['stopped at ',mat2str(round(p(end,:),3)),' without converging'])
end

只是部分结果

在后一种情况下，您可以看到它没有收敛，但 梯度下降 没有问题，只是学习率设置得太高（因此它反复错过了最小值）。

欢迎使用它。