使用 optimize.fmin_l_bfgs_b 的错误收敛答案

【问题标题】：Wrong convergence using optimize.fmin_l_bfgs_b使用 optimize.fmin_l_bfgs_b 的错误收敛
【发布时间】：2015-03-24 20:56:41
【问题描述】：

我正在使用 optimize.fmin_l_bfgs_b 来优化用 Fortran 编写的函数。代码类似于：

def f(m, *args):
    # Optmization values
    Opt1 = m[0]
    Opt2 = m[1]
    # Rest of arguments:
    Var1 = args[0]
    Var2 = args[1]
    # Fortran Function
    r1, r2 = FortranFunction(Opt1, Opt2)
    # Evaluation of the result
    evaluation = sqrt((r1-Var1)**2 + (r2-Var2)**2)
    return evaluation

initial_values = numpy.array([1.09, 0.0025])
mybounds = [(1, 1.2), (0, 0.1)]
m = optimize.fmin_l_bfgs_b(f, x0 = initial_values, args=(x, file_vars), approx_grad = True, bounds = mybounds)

fortran 函数返回 2 个值，用于使用两个所需结果（Var1 和 Var2）评估函数。我遇到的问题是该算法没有优化第一个变量。如果我在每次迭代中打印它，这就是我得到的：

它似乎只是通过 1.09 和 1.09000001 之间的差异来评估函数，这太低而无法在 Fortran 函数中获得不同的值（这可能是它没有优化的原因）。第二个变量不存在这个问题。这是正常行为吗？有没有办法让算法使用更高的步长？

【问题讨论】：

输入不同的起始值有什么作用？
完全一样。 Fortran 函数对第一个变量的如此低的变化不是很敏感。
你看过优化解决方案的梯度近似值吗？

标签： python algorithm optimization scipy

【解决方案1】：

根据 Fortran 函数的具体功能，有多种可能的修复方法。我从您的呼叫签名中看到，您正在让最小化器以数字方式估计梯度。你能直接计算梯度吗？如果是这样，请尝试编写一个执行此操作的函数，将其作为fprime 传递，并将approx_grad 设置为False。一个合适的梯度函数很有可能会产生更好的结果。

另一种可能性是尝试epsilon 的不同值，它控制数值梯度近似的步长。但在我看来，fmin_l_bfgs_b 只接受 epsilon 的单个浮点值，这意味着您不能对不同的维度采用不同的步长。这可能不是问题；如果较大的 epsilon 为第一个维度提供了更好的梯度估计，并且不会放弃对第二个维度的估计，那么您的问题可能会得到解决。您还可以尝试传递一个数组，每个维度都有一个 epsilon 值——它可能有效。最后，你也许可以做一些有点笨拙的事情，比如优化一个维度，然后调整 epsilon，然后优化另一个维度。以后有时间我会做一些实验。

最后一种方法可能是使用不同的最小化函数。例如，您是否尝试过fmin_cg？我发现它可以很好地处理我提出的大部分问题。但是我以前从来没有在没有硬编码梯度函数的情况下使用过它。您还可以尝试this list 上的其他功能——尤其是像Powell 和Anneal 这样的功能，它们旨在不使用任何渐变信息即可工作。

这些方法中的哪一种（如果有的话）在很大程度上取决于您要最小化的功能的具体性质。你可能需要做一些实验！

【讨论】：

通过 epsilon 值修改步长已更正了第一个维度的问题。但是，正如您详细的 cmets 中所建议的，我将尝试其他选项。当然，我会尝试使用其他最小化函数，但也会开发一个新的梯度函数。不知道现在是如何完成的。非常感谢您提供这个有用的答案。