如何为无法预见边界的最小化器模拟边界？

Question

我有一个优化问题，我想使用scipy.optimize.minimize 包，即不预见任何约束或界限的方法之一，例如'nelder-mead'、'powell'、'cg'、'bfgs ', newton-cg', 'dogleg', 'trust-ncg' - 见：minimize exception about bounds and constraints。

我想通过在我的成本函数周围添加一个包装器来自己引入界限：

这个包装器被优化器调用并将参数传递给我想要优化的成本函数。成本函数将一个值返回给包装器。

如果优化器使用超出参数允许范围的参数调用包装器，包装器随后会在成本函数的结果中添加一些额外的“惩罚”，并传递惩罚和结果的总和将成本函数返回给优化器。

我的问题是：

如果我有一个像这样的二元惩罚函数（仅显示边界的上限），优化是否会正常工作（这意味着：它会以更高的概率找到我的成本函数的绝对最小值）：

if parameter > upperBound:
    penalty = 1.e6
else:
    penalty = 0.0

或者使用更平滑的惩罚函数（模拟 Lipschitz 连续函数之类的东西）更好，比如 e. G。移位平方函数：

if parameter > upperBound:
    penalty = VERY_HIGH_NUMBER * (parameter - upperBound)**2
else:
    penalty = 0.0

如果使用更平滑的惩罚函数更好，对于这类函数是否有任何“最佳实践”（例如使用 sigmoid 函数或平方函数等）？

Answer 1

我通常会转换参数空间，使-Inf 对应于最低值，+Inf 对应于最高值，例如如果它在顶部和底部有界，则可以使用 sigmoid 函数，或者如果您只是希望某些东西是积极的，则可以使用“1+exp 的对数”（不确定其规范名称）。天真的版本是：

def sigfn(x):
  return 1 / (1 + exp(-x))

def logexpfn(x):
  return log1p(exp(x))

但您可能需要特别小心处理较大的值，因为高于 ~700 的值会导致 exp 溢出。因此功能可以扩展为：

def sigfn(x):
  if x < -36:
    return exp(x)
  return 1 / (1 + exp(-x))

def logexpfn(x):
  if x > 36:
    return x
  return log1p(exp(x))

我使用 36，因为这是我们失去精度的点，即exp(37) * float_info.epsilon > 1。

如果你只想要一个上限，你可以使用这些来做：

def optfn(param):
  param = upperValue - logexpfn(-param)

或任何对您的代码有意义的东西。这显然比直接使用东西更尴尬，但它是一种非常通用的技术并且普遍适用