为 scipy.optimize.fmin （和其他）设置收敛标准

Question

我正在进行一项优化任务，其中成本函数评估非常昂贵，并且可以容忍一些错误。我正在使用 scipy.optimize 中的一些预先打包的 scipy 方法来开始。我正在使用的第一个是 fmin，它实现了 nelder mead 单纯形算法。

此函数有两个与收敛相关的参数 xtol 和 ftol，它们 (as I understand it) 指定了一个收敛标准，如果 x 或 f（参数集和成本分别）在迭代中变化小于 xtol 或 ftol，函数返回。

但是，由于成本函数对我来说非常昂贵，我还希望能够指定一个成本阈值，如果它找到一个成本低于阈值的点，它将立即返回。

是否可以为 scipy.optimize.fmin 指定此阈值？

额外问题：我没有详细研究过许多其他方法，但看起来这些阈值选项也不存在。这是 scipy 优化方法的典型特征吗？尝试贡献这个功能对我来说有价值吗？

Answer 1

对于可以表示为x 的函数的任何标准，都可以停止迭代。这里的想法是劫持callback 方法并使用异常进行流控制。以下是利用此想法的两种解决方案：

from scipy.optimize import fmin_bfgs
import numpy as np
f = lambda x: np.linalg.norm(x**2)
x0 = np.random.rand(100)

解决方案 1：

global result

class SmallEnoughException(Exception):
    pass

def check_conv_criteria(xk):
    global result
    if np.linalg.norm(xk) < 0.1:
        result = xk
        raise SmallEnoughException()

try:
    x, _, _ = fmin_bfgs(f, x0, callback=check_conv_criteria)
except SmallEnoughException:
    x = result

解决方案 2：

class StopOptimizingException(Exception):
    pass

class CallbackCollector:

    def __init__(self, f, thresh):
        self._f  = f
        self._thresh = thresh

    def __call__(self, xk):
        if self._f(xk) < self._thresh:
            self.x_opt = xk
            raise StopOptimizingException()

try:
    cb = CallbackCollector(f, thresh=0.2)
    x, _, _ = fmin_bfgs(f, x0, callback=cb)
except StopOptimizingException:
    x = cb.x_opt