你在穿山越岭的另一边,
而我也在没有尽头的孤独路上前行。
试着体会错误,试着忍住眼泪,
可是该有的情绪根本逃不开。
我知道逃避是没有用的,
但是我还会记得你的关心与爱。
——畅宝宝的傻逼哥哥

定理1:如果f(x)是定义在凸集Rc上的凸函数,那么

  1. f(x)取最小值构成的点集合Sc是凸集;
  2. 任何f(x)的局部极小都是全局极小。

证明:(a)如果F∗是f(x)的极小值,那么Sc={x:f(x)≤F∗,x∈Rc}是凸集。

(b)如果x∗∈Rc是局部极小值,但存在全局极小点x∗∗∈Rc使得

f(x∗∗)<f(x∗)

那么在直线x=αx∗∗+(1−α)x∗

f[αx∗∗+(1−α)x∗]≤αf(x∗∗)+(1−α)f(x∗)<αf(x∗)+(1−α)f(x∗)

或者

f(x)<f(x∗)for all α

这与x∗是局部极小值相矛盾,因此在凸集上的任何局部极小值是全局极小值。

定理2:如果f(x)∈C1是凸集Rc上的凸函数,且存在点x∗使得对所有x1∈Rc

g(x∗)Td≥0whered=x1−x∗

,那么x∗是f(x)的全局极小值。

证明:根据上篇文章的定理可知

f(x1)≥f(x∗)+g(x∗)T(x1−x∗)

其中g(x∗)是f(x)在点x=x∗处的梯度。因为

g(x∗)T(x1−x∗)≥0

所以

f(x1)≥f(x∗)

所以x∗是局部极小值,根据定理1可知x∗也是局部极小值。

同样的,如果f(x)是严格凸函数且

g(x∗)Td>0

那么x∗是强全局极小值。

上面的定理说明,如果f(x)是凸函数,那么x∗是全局极小值的一阶充分条件变成了了必要条件。

因为单变量的凸函数形状像字母U,而二元凸函数像个碗,所以没有像定理1,2那样表征凸函数极大值的定理,然而,下面的定理是有用的。

定理3:如果f(x)是定义在有界闭的凸集Rc上,那么如果f(x)在Rc上有极大值,它一定在Rc的边界上。

证明:如果点x在Rc的内部,那么我们可以得出一条通过x且与边界相交两点x1,x2的直线,这是因为Rc是有界闭集合。因为f(x)是凸函数,所以存在α,0<α<1使得

x=αx1+(1−α)x2

且

f(x)≤αf(x1)+(1−α)f(x2)

如果f(x1)>f(x2),那么

f(x)<αf(x1)+(1−α)f(x1)=f(x1)

如果

f(x1)<f(x2)

,那么

f(x)<αf(x2)+(1−α)f(x2)=f(x2)

接下来如果

f(x1)=f(x2)

那么

f(x)≤f(x1)andf(x)≤f(x2)

显然,所有可能的极大值都发生在Rc的边界上。

这个定理图示如图1。


漫步最优化十五——凸函数优化
图1

相关文章:

  • 2022-01-22
  • 2021-11-08
  • 2021-05-18
  • 2022-01-05
  • 2021-09-28
  • 2021-05-02
  • 2021-11-29
猜你喜欢
  • 2021-12-29
  • 2021-10-22
  • 2021-06-07
  • 2021-07-09
  • 2021-04-14
相关资源
相似解决方案