SciPy 优化：Newton-CG vs BFGS vs L-BFGS

Question

我正在使用 Scipy 做一个优化问题，我正在使用大小为 NNxNN 的顶点和键的平面网络，连接它的两侧（即，使其周期性），并最小化能量函数，这样它卷曲形成一个圆柱体。 （请参阅下面的链接。）

由于我有函数 energy(xyz-position) 并且它是渐变的，因此我决定使用 Scipy 手册中推荐的三种方法——Newton-CG、BFGS、L-BFGS-B——并比较它们的执行情况。

我调用优化函数如下，我只是根据大小写将'Newton-CG'替换为'BFGS'和'L-BFGS-B'：

from scipy.optimize import minimize
res = minimize(energy, xyzInit, method='Newton-CG', jac = energy_der,  options={'disp': True}) 

我发现了以下一般行为（我给出了NN=9情况的输出数据，对应于3*9^2=243维参数空间）-

1. BFGS 系统性地无法找到正确的最小值（对于低 NN），并且对于大 NN 根本无法收敛。最终结果见https://plot.ly/~apal90/162/。

    NN=9
    Method: BFGS
    Warning: Desired error not necessarily achieved due to precision loss.
    Current function value: 204.465912
    Iterations: 1239
    Function evaluations: 1520
    Gradient evaluations: 1508
    Time taken for minimisation: 340.728140116
   

2. Newton-CG 为小的 NN (NN 会加剧这种行为。见https://plot.ly/~apal90/164/

    NN=9
    Method: Newton-CG
    Optimization terminated successfully.
    Current function value: 7.954412
    Iterations: 49
    Function evaluations: 58
    Gradient evaluations: 1654
    Hessian evaluations: 0
    Time taken for minimisation: 294.203114033
   

3. 对于我测试的所有NN（最多NN=14），L-BFGS-B 找到了正确的最小值，而且速度非常快。见https://plot.ly/~apal90/160/

    NN=9
    Method: L-BFGS-B
    Time taken for minimisation: 36.3749790192
   

问题：为什么L-BFGS-B 在这种情况下优于其他两种方法？特别是，为什么它比BFGS 优越得多，因为两者都应该是准牛顿方法（据我理解），以完全相同的方式工作。

我对这种情况的看法：所有三种方法都在每个点 x 处进行二次逼近。为此，它需要一个梯度和一个 Hessian。如果没有给出Hessian，则必须通过算法计算。在我们的例子中，只有梯度是明确给出的，这是由算法在每一步数值计算的。更具体地说，我们需要的是 Hessian 的倒数，这是一个非常昂贵的步骤，尤其是在更高维度上。现在，Newton-CG 显式地计算了这个逆 Hessian，因此需要更长的时间。像 BFGS 和 L-BFGS 这样的准牛顿方法基于梯度计算 Hessian 的近似值（即曲率），这在时间上更便宜，并且也被认为是对一个点的曲率的更好估计。因此，对于二次函数，Newton-CG 收敛得更快，而对于非二次函数，拟牛顿函数收敛得更好。 L-BFGS 是 BFGS 的低内存版本，每一步存储的内存远少于完整的 NxN 矩阵，因此它比 BFGS 快。

这个解释显示了 Newton-CG 和准牛顿方法之间的分歧。它没有解释的是算法无法找到真正的最小值，尤其是 BFGS 和 L-BFGS 之间的差异，它们都应该以相同的方式运行。

我对长收敛时间的一般预感是系统在最小值附近是非二次的（即平坦的），因此算法会随着收敛而振荡。除此之外，如果 BFGS 和 L-BFGS 真的以相同的方式工作，我相信 Scipy 算法的收敛容差水平之间肯定存在一些差异。否则，BFGS 和 L-BFGS 的工作方式并不相同，后者可能更准确地计算 Hessian。

参考--

http://www.scipy-lectures.org/advanced/mathematical_optimization/#newton-and-quasi-newton-methods

https://en.wikipedia.org/wiki/Newton%27s_method_in_optimization

https://en.wikipedia.org/wiki/Quasi-Newton_method

https://docs.scipy.org/doc/scipy-0.18.1/reference/optimize.minimize-bfgs.html#optimize-minimize-bfgs

https://docs.scipy.org/doc/scipy-0.18.1/reference/optimize.minimize-lbfgsb.html#optimize-minimize-lbfgsb

Answer 1

您的问题缺少两个重要信息：能量函数和初始猜测。能量函数可以是凸的/非凸的、平滑的/分段平滑的/不连续的。因此，很难在您的上下文中完全回答您的问题。不过，我可以解释一下 BFGS 和 L-BFGS-B 之间的一些关键区别。

这两种方法都是解决非线性优化问题的迭代方法。它们都通过在每次迭代中使用函数的 Hessian 逼近来逼近 Newton 方法。与 Newton 方法的主要区别在于，它们不是在特定点计算完整的 Hessian 矩阵，而是在先前的点上累积梯度并使用 BFGS 公式将它们放在一起作为 Hessian 矩阵的近似值。 Newton 和 BFGS 方法不能保证收敛，除非函数具有接近最优值的二次泰勒展开。

原始的 BFGS 方法会累积自给定初始猜测以来的所有梯度。这种方法有两个问题。首先，内存可以无限增加。其次，对于非线性问题，初始猜测处的 Hessian 矩阵通常不能代表解处的 Hessian 矩阵。因此，近似的 Hessian 将有偏差，直到在解决方案附近积累了足够的梯度。这可能会减慢收敛速度，但根据我的经验，对于具有单个局部最小值的能量函数，仍然应该使用良好的线搜索算法收敛。

L-BFGS 与 BFGS 相同，但内存有限，这意味着一段时间后，旧的梯度会被丢弃，以便为新计算的梯度留出更多空间。这样就解决了内存的问题，也避免了初始梯度的偏差。然而，根据保存在内存中的梯度数量，Hessian 可能永远不会被精确估计，并且可能是另一个偏差来源。这也可能会减慢收敛速度，但同样，对于具有单个局部最小值的能量函数，它仍应使用良好的线搜索算法收敛。

L-BFGS-B 与 L-BFGS 相同，但对输入变量有约束。 L-BFGS-B 将停止优化域边界上的变量。由于您没有指定任何约束，因此算法的这一方面不适用于您的问题。

我的假设是，您正在尝试使用与解决方案相去甚远的初始猜测来解决平滑但非凸的问题，并且您最终会处于局部最小值。既然你提到你从一个平面配置开始，我不会惊讶你从一个导致退化 Hessian 的奇异点开始，这可能会给其余的优化带来麻烦。在您的情况下，BFGS 和 L-BFGS 之间的唯一区别是每次迭代都会计算一个略有不同的梯度，并且 L-BFGS 方法最终将遵循一条导致全局最小值的路径。