SMO算法

SMO算法（Sequential minimal optimization）要解决的对偶问题

maxα −12∑i=1m∑j=1mαiαjy(i)y(j)⟨x(i),x(j)⟩+∑i=1mαi$\begin{array}{r}\underset{\alpha }{max}-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}⟨x^{(i)},x^{(j)}⟩+\sum _{i=1}^m{\alpha }_i\end{array}$

s.t. ∑i=1mαiyi=0$\begin{array}{r}\text{s.t.}\sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}$

0⩽αi⩽C, i=1,...,m$0⩽{\alpha }_i⩽C,i=1,...,m$

该问题的收敛条件
αi=0αi=C0<αi<C⇒y(i)(wTx(i)+b)⩾1⇒y(i)(wTx(i)+b)⩽1⇒y(i)(wTx(i)+b)=1$\begin{array}{rl}{\alpha }_i=0& \Rightarrow y^{(i)}\left(w^T{x}^{(i)}+b\right)⩾1\\ {\alpha }_i=C& \Rightarrow y^{(i)}\left(w^T{x}^{(i)}+b\right)⩽1\\ 0<{\alpha }_i<C& \Rightarrow y^{(i)}\left(w^T{x}^{(i)}+b\right)=1\end{array}$

SMO算法中的“minimal”表示我们希望一次迭代改变最小数量的αi${\alpha }_i$，在该算法中只需要改变2个

Coordinate ascent

坐标上升法的特点是，尽管可能需要比较多的迭代次数，但是每一步迭代的代价非常低

SMO算法采用了Coordinate ascent的思想

考虑满足约束条件的α1,α2,...,αm${\alpha }_1,{\alpha }_2,...,{\alpha }_m$，现在我们采用Coordinate ascent的思想来完成一次迭代，假设我们固定α2,...,αm${\alpha }_2,...,{\alpha }_m$，取α1${\alpha }_1$进行优化，这样做可行吗？

回答是不可行，因为约束∑i=1mαiyi=0$\begin{array}{r}\sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}$始终是存在的，这意味着固定α2,...,αm${\alpha }_2,...,{\alpha }_m$，则α1${\alpha }_1$的取值只能是唯一的，所以不能只取αi${\alpha }_i$进行优化，而应该取一对αi${\alpha }_i$，αj${\alpha }_j$进行优化

假设我们固定α3,…,αm${\alpha }_3,\dots ,{\alpha }_m$，取α1${\alpha }_1$，α2${\alpha }_2$进行优化

则α1y(1)+α2y(2)=ζ${\alpha }_1{y}^{(1)}+{\alpha }_2{y}^{(2)}=\zeta$

以α1${\alpha }_1$，α2${\alpha }_2$为坐标轴，画出如下示意图



由于α1${\alpha }_1$，α2${\alpha }_2$需要满足下列3个条件
0⩽α1⩽C$0⩽{\alpha }_1⩽C$
0⩽α2⩽C$0⩽{\alpha }_2⩽C$
α1y(1)+α2y(2)=ζ${\alpha }_1{y}^{(1)}+{\alpha }_2{y}^{(2)}=\zeta$

故(α1,α2)$({\alpha }_1,{\alpha }_2)$可行的位置为图中红色线段，α1${\alpha }_1$，α2${\alpha }_2$各自可行的位置为图中绿色线段，换句话说，α1${\alpha }_1$，α2${\alpha }_2$的取值范围被各自限定在一个区间内

假设我们选取α2${\alpha }_2$进行优化，并设α2${\alpha }_2$可行的上下界分别为H$H$和L$L$，即L⩽α2⩽H$L⩽{\alpha }_2⩽H$

首先我们利用α1y(1)+α2y(2)=ζ${\alpha }_1{y}^{(1)}+{\alpha }_2{y}^{(2)}=\zeta$消去α1${\alpha }_1$，最终得到一个只包含α2${\alpha }_2$的式子，这个式子的最高次数为2$2$，可以直接套用公式求出最优解α∗2${\alpha }_2^{\ast }$（初中就已经学过如何求二次函数的最值）

然后还需要检查α∗2${\alpha }_2^{\ast }$是否在区间[L,H]$[L,H]$内，如果不是，需要进行处理，得到迭代后的αnew2${\alpha }_2^{new}$，处理方法如下

αnew2=⎧⎩⎨⎪⎪Hif α∗2>Hα∗2if L⩽α∗2⩽HLif α∗2<L(46)(47)(48)${\alpha }_2^{new}=\{\begin{array}{c}\begin{array}{}\text{(46)}& & Hif{\alpha }_2^{\ast }>H\text{(47)}& & {\alpha }_2^{\ast }ifL⩽{\alpha }_2^{\ast }⩽H\text{(48)}& & Lif{\alpha }_2^{\ast }<L\end{array}\end{array}$

再利用αnew1y(1)+αnew2y(2)=ζ${\alpha }_1^{new}{y}^{(1)}+{\alpha }_2^{new}{y}^{(2)}=\zeta$求出αnew1${\alpha }_1^{new}$，此时，本次迭代的工作完成

【重新思考】

假设参数更新前为[αold1αold2αold3αold4⋯αoldm]$\left[\begin{array}{cccccc}{\alpha }_1^{\text{old}}& {\alpha }_2^{\text{old}}& {\alpha }_3^{\text{old}}& {\alpha }_4^{\text{old}}& \cdots & {\alpha }_m^{\text{old}}\end{array}\right]$

我们选择变量α1${\alpha }_1$和α2${\alpha }_2$进行更新

参数更新后为[αnew1αnew2αold3αold4⋯αoldm]$\left[\begin{array}{cccccc}{\alpha }_1^{\text{new}}& {\alpha }_2^{\text{new}}& {\alpha }_3^{\text{old}}& {\alpha }_4^{\text{old}}& \cdots & {\alpha }_m^{\text{old}}\end{array}\right]$

那么有
αold1+αold2=−∑i=3mαoldi=ζ$\begin{array}{r}{\alpha }_1^{\text{old}}+{\alpha }_2^{\text{old}}=-\sum _{i=3}^m{\alpha }_i^{\text{old}}=\zeta \end{array}$
αnew1+αnew2=−∑i=3mαoldi=ζ$\begin{array}{r}{\alpha }_1^{\text{new}}+{\alpha }_2^{\text{new}}=-\sum _{i=3}^m{\alpha }_i^{\text{old}}=\zeta \end{array}$

为了计算ζ$\zeta$，可以使用αold1+αold2${\alpha }_1^{\text{old}}+{\alpha }_2^{\text{old}}$计算，或者使用−∑i=3mαoldi$\begin{array}{r}-\sum _{i=3}^m{\alpha }_i^{\text{old}}\end{array}$计算，显然，计算简单的是后者

这就是为什么需要使用αold1${\alpha }_1^{\text{old}}$和αold2${\alpha }_2^{\text{old}}$的原因