目录

1.写在前面

2.什么是KKT条件(3组,5个条件)


1.写在前面

        上一节,我们介绍了slater条件,假如说我们遇到一个凸优化问题+slater条件,那么一定满足强对偶关系。强对偶关系是说p*是原问题的解,d*是对偶函数的解,满足p*=d*。p*对应最优解是x*,d*对应最优解是λ*和η*。怎么求出来这三个最优解呢?KKT就给定了这三者之间的一个关系,可以求出这三个最优解。并且KKT条件和强对偶关系属于充要条件,可以互相推导。我们这一节就介绍什么是KKT条件。

手推支持向量机08-约束优化问题-对偶关系之KKT条件

2.什么是KKT条件(3组,5个条件)

        KKT条件可以分为3组,第一组是满足可行域或者可行条件;第二组是满足互补松弛条件;第三组是梯度为0。

手推支持向量机08-约束优化问题-对偶关系之KKT条件

        互补松弛条件是什么呢?我们思考d*是什么,是对偶问题的最优值,可以直接代入λ*和η*:

手推支持向量机08-约束优化问题-对偶关系之KKT条件

        上面那个式子我们可以得到互补松弛条件,如果d*=p*,只能取等号。下面蓝框中就是我们推出的互补松弛条件。

手推支持向量机08-约束优化问题-对偶关系之KKT条件

手推支持向量机08-约束优化问题-对偶关系之KKT条件

        我们看第三组梯度等于0,因为上面绿色公式推导中要取等号,我们可以单独拿出来讨论:当x=x*时候,取得最小值。

手推支持向量机08-约束优化问题-对偶关系之KKT条件

        所以如果L对x求偏导,在x=x*时候,一定会等于0,因为必须要有最小值。其实第二组互补松弛条件和第三组梯度为0条件都是从不等式取等号推导出来的。最后的KTT三组条件为(三组+五个条件):

手推支持向量机08-约束优化问题-对偶关系之KKT条件

 

相关文章:

  • 2021-08-23
  • 2021-12-27
  • 2021-04-02
  • 2021-12-30
  • 2021-09-03
  • 2021-06-14
  • 2021-09-23
  • 2021-04-19
猜你喜欢
  • 2021-12-25
  • 2021-06-22
  • 2021-10-26
  • 2021-11-18
  • 2021-07-10
  • 2021-06-10
相关资源
相似解决方案