使用 Sympy 的多变量梯度下降答案

【问题标题】：multi-variable Gradient descent using Sympy使用 Sympy 的多变量梯度下降
【发布时间】：2018-11-09 08:18:49
【问题描述】：

我正在练习 Python 2.7 中 Sympy 库中两个变量的梯度下降算法实现。

我的目标是根据以下步骤使用导数向量找到两个变量函数的最小值：

对于两个变量的函数 f(a,b)，定义第一个矩阵偏微分 - M。
然后，我将 a,b 的 statring 点（例如 V0 = (1.0,1.0)）传递到 M 中，并将其乘以一步 - 这得到 M0 * ????矩阵。
接下来，从向量中减去上面计算的结果起始值 - V0。这给出了一个新的变量向量 a,b - V1。
最后将V1的值再次放入M中。如果矩阵 M 的结果小于 epsilon = > 继续迭代。

附上代码和步骤说明。我想问题出在 while 循环中，因为它给出了 wearg 值，而算法只进行了第一次 i 迭代。 enter image description here

您能否就改进提出建议？

import sympy as sp
from sympy import *
from sympy import lambdify

a=Symbol('a')
b=Symbol('b')
alpha=Symbol('alpha')

def test_f(a, b):
    # define a test function of a,b
    test_f=4*a**2 + 25*b**2 
    return test_f

def deriv_matrix(f, a, b):
    # define the matrix of derivatives
    d1=diff(f(a,b), a, 1)
    d2=diff(f(a,b), b, 1)
    M=Matrix([d1,d2])
    return M

epsilon=0.02
alpha=0.1
i=1 # strat the iteration from 1
vector1=Matrix([1,1]) # starting point 

while (i<100) & (f(vector1[0], vector1[1]).all()> epsilon):
    f = lambdify((a,b), deriv_matrix(test_f, a, b))
    vector=vector1
    N=-(alpha/i)*f(vector[0],vector[1])
    vector1=vector1+N
    i+=i
print vector1

【问题讨论】：

标签： python python-2.7 sympy gradient-descent

【解决方案1】：

代码有太多问题无法列出。作为一个小样本：f 未定义，但显然它的返回值具有方法.all()（在 NumPy 中返回一个布尔值），然后将其与 epsilon 进行比较？没有意义。通常，在使用 SymPy 时，不需要将符号函数编码为 Python 函数。它们表示为 SymPy 表达式，可以在需要速度时对其进行简化，或者在速度不是问题时直接使用 subs 进行评估。例如：

from sympy import *    
a, b = symbols('a b')
f = 4*a**2 + 25*b**2     # this is a SymPy expression, not a function
grad_f = lambdify((a, b), derive_by_array(f, (a, b)))   # lambda from an expression for graduent

epsilon = 0.02
alpha = 0.01      # the value of 0.1 is too large for convergence here
vector = Matrix([1, 1])  

for i in range(100):    #  to avoid infinite loop
    grad_value = Matrix(grad_f(vector[0], vector[1]))
    vector += -alpha*grad_value
    if grad_value.norm() < epsilon:   #  gradient is small, we are done 
        break          

if grad_value.norm() < epsilon:
    print('Converged to {}'.format(vector))    # only print vector if successful
else:
    print('Failed to converge')

【讨论】：