优化 -坐标上升法

在求解a的时候，除了采用梯度下降法，还可以采用坐标上升法。

最里面语句的意思是固定除ai之外的所有a，这时W可看作只是关于
ai的函数，那么直接对ai求导优化即可。这里我们进行最大化求导的顺序i是从1到m，可以通过更改优化顺序来使W能够更快地增加并收敛。如果W在内循环中能够很快地达到最优，那么坐标上升法会是一个很高效的求极值方法。

椭圆代表了二次函数的各个等高线，变量数为2，起始坐标是(2,-2)。图中的直线式迭代优化的路径，可以看到每一步都会向最优值前进一步，而且前进路线是平行于坐标轴的，因为每一步只优化一个变量。