你在穿山越岭的另一边,
而我也在没有尽头的孤独路上前行。
试着体会错误,试着忍住眼泪,
可是该有的情绪根本逃不开。
我知道逃避是没有用的,
但是我还会记得你的关心与爱。
——畅宝宝的傻逼哥哥
定理1:如果f(x)是定义在凸集Rc上的凸函数,那么
-
f(x)取最小值构成的点集合Sc是凸集;
- 任何f(x)的局部极小都是全局极小。
证明:(a)如果F∗是f(x)的极小值,那么Sc={x:f(x)≤F∗,x∈Rc}是凸集。
(b)如果x∗∈Rc是局部极小值,但存在全局极小点x∗∗∈Rc使得
f(x∗∗)<f(x∗)
那么在直线x=αx∗∗+(1−α)x∗
f[αx∗∗+(1−α)x∗]≤αf(x∗∗)+(1−α)f(x∗)<αf(x∗)+(1−α)f(x∗)
或者
f(x)<f(x∗)for all α
这与x∗是局部极小值相矛盾,因此在凸集上的任何局部极小值是全局极小值。
定理2:如果f(x)∈C1是凸集Rc上的凸函数,且存在点x∗使得对所有x1∈Rc
g(x∗)Td≥0whered=x1−x∗
,那么x∗是f(x)的全局极小值。
证明:根据上篇文章的定理可知
f(x1)≥f(x∗)+g(x∗)T(x1−x∗)
其中g(x∗)是f(x)在点x=x∗处的梯度。因为
g(x∗)T(x1−x∗)≥0
所以
f(x1)≥f(x∗)
所以x∗是局部极小值,根据定理1可知x∗也是局部极小值。
同样的,如果f(x)是严格凸函数且
g(x∗)Td>0
那么x∗是强全局极小值。
上面的定理说明,如果f(x)是凸函数,那么x∗是全局极小值的一阶充分条件变成了了必要条件。
因为单变量的凸函数形状像字母U,而二元凸函数像个碗,所以没有像定理1,2那样表征凸函数极大值的定理,然而,下面的定理是有用的。
定理3:如果f(x)是定义在有界闭的凸集Rc上,那么如果f(x)在Rc上有极大值,它一定在Rc的边界上。
证明:如果点x在Rc的内部,那么我们可以得出一条通过x且与边界相交两点x1,x2的直线,这是因为Rc是有界闭集合。因为f(x)是凸函数,所以存在α,0<α<1使得
x=αx1+(1−α)x2
且
f(x)≤αf(x1)+(1−α)f(x2)
如果f(x1)>f(x2),那么
f(x)<αf(x1)+(1−α)f(x1)=f(x1)
如果
f(x1)<f(x2)
,那么
f(x)<αf(x2)+(1−α)f(x2)=f(x2)
接下来如果
f(x1)=f(x2)
那么
f(x)≤f(x1)andf(x)≤f(x2)
显然,所有可能的极大值都发生在Rc的边界上。
这个定理图示如图1。

图1