如何组合多个目标进行优化？

Question

我不知道为什么我很难弄清楚。

例如，我有两个函数，f(x, y) 和 g(x, y)。我想找到 x 和 y 的值，这样：

• f(x, y) 处于目标值（最小化与目标的差异）
• g(x, y) 被最小化（可以是负数，不会停在 0）
• x 和 y 是有界的（所以 g 的最小值不一定有 0 的梯度）

因此，如果我只是为 f 找到解决方案，我可以最小化 abs(f(x, y) - target)，例如，当找到解决方案时它会归零。但是有多种这样的解决方案，我也想找到一个最小化 g 的解决方案。

那么我如何将这两个函数组合成一个表达式，然后我可以最小化（使用类似牛顿的方法）？

我的第一次尝试是 100*abs(f(x, y) - target) + g(x, y) 强烈强调首先达到目标，它适用于目标值的某些情况，但对于其他情况却失败了，因为 g(x, y) 可能会变得如此消极以至于它主导了组合和优化器不再关心f。我如何保证 f 击中目标总是占优？

是否有关于如何将多个目标组合成一个目标的一般规则？

Answer 1

关于多目标优化的文献非常丰富。两种流行的方法是加权客观法和字典法。

加权目标可以设计为：

min w1 * [f-target]^2 + w2 * g

对于一些权重w1, w2 >= 0。通常我们有w1+w2=1，所以我们也可以写：

min w1 * [f-target]^2 + (1-w1) * g

将 w1 设置为大于 w2 的值以强调 f 目标。

字典法假定目标排序。它可能看起来像：

1. 解决第一个目标z = min [f-target]^2。让 z* 成为最优目标。
2. 在靠近 z* 的情况下使用第二个目标求解： min g subject to [f-target]^2-z* <= tolerance

为了测量目标和 f 之间的偏差，我在这里使用了二次函数。您也可以使用绝对值。

Answer 2

由于您无法准确地将 f(x,y)-target 设为零，因此您必须接受一些错误。我将使用相对误差 r = abs((f(x, y) - target)/target)。

一个随着 r 快速增长的函数应该可以解决问题。

exp(r/epsilon) + g(x, y)

如果我选择 epsilon = 1e-10，那么我知道 r 必须小于 1e-7，因为 exp(1000) 是一个巨大的数字，但是当 r 很小时，例如 r = 1e-12，那么指数变化非常缓慢，g(x,y) 将成为主导项。您甚至可以更进一步，计算 x 和 y 与它们的真实值的接近程度，但通常更容易调整参数，直到获得所需的值。