当 jac=False 时不使用雅可比时，“牛顿 CG 方法需要雅可比”？

Question

我正在使用 scipy.optimize.minimize 进行优化，并尝试使用以下方法：“Newton-CG”、“dogleg”和“trust-ncg”。据我了解，对于这些方法，需要目标函数的雅可比。但是，documentation 建议如果 jac 设置为 False，则梯度将以数值计算。

所以我试图像这样调用函数：

scipy.optimize.minimize(fun,x0,method='Newton-CG',jac=False,options={'disp':True}

当我调用它时，我收到以下错误消息：

  File "/usr/lib/python2.7/dist-packages/scipy/optimize/optimize.py", line 1351, in _minimize_newtoncg
raise ValueError('Jacobian is required for Newton-CG method')

这很令人惊讶，因为我以为我只是将它设置为 False（如果 jac 设置为 None，则此异常仅发生在 */optimize.py 中）。于是我进入 /usr/lib/python2.7/dist-packages/scipy/optimize/optimize.py 看看函数

def _minimize_newtoncg(fun, x0, args=(), jac=None, hess=None, hessp=None,
                   callback=None, xtol=1e-5, eps=_epsilon, maxiter=None,
                   disp=False, return_all=False,
                   **unknown_options):

在这个函数的开头，我写了以下打印语句：

print (jac)
_check_unknown_options(unknown_options)
print(jac)
if jac is None:
    raise ValueError('Jacobian is required for Newton-CG method')

令人惊讶的是，打印的是“None”而不是 False！因此，我查看了 /usr/lib/python2.7/dist-packages/scipy/optimize/_minimize.py 中的调用函数，我找到了将其设置为 None 的代码 sn-p：

    if not callable(jac):
    if bool(jac):
        fun = MemoizeJac(fun)
        jac = fun.derivative
    else:
        jac = None

因此，为什么将 jac 设置为 None 是有道理的（尽管它似乎与建议我将通过在原始函数调用中将 jac 设置为 False 来获得 jacobian 的数值近似值的文档不兼容）。

我错过了什么？我是否可以像我在上面使用 Scipy 为我计算雅可比行列式的数值近似时那样调用“Newton-CG”方法？

Answer 1

显然，三年后该错误仍然存​​在。

对于 Newton-CG，最小化器只需要一个可调用的雅可比行列式。一种快速获取方法是使用scipy.optimize.approx_fprime，如下所示：

# x0 is your initial guess.
fprime = lambda x: optimize.approx_fprime(x, f, 0.01)
result = optimize.minimize(f, x0, method = 'Newton-CG', jac = fprime)

据我了解，这应该是“2点”方法的实现方式。

Answer 2

根据我使用 SciPy 的经验...

SciPy 文档所指的数值近似值是您在引用的代码中看到的“MemoizeJac”类。当没有提供“jac”时，记忆会自动发生。 Newton-CG 函数的文档中告诉您将 Jacobian 设置为“False”可能是一个错误。

只需设置 jac=None 或不为 jac 提供参数，梯度的数值近似值将用于 Newton-CG 函数。