吴恩达-机器学习(7)

Large Margin Classification

Optimization objective

在逻辑回归中，z对应的h(θ)$h(\theta )$的值
在支持向量机中，把log函数换为图中蓝色线所代表的cost函数

支持向量机中的代价函数

Large Margin Intuition

假设C=100000，我们就希望蓝色款中的式子等于0
当y=1时为了使得cost1=0$cos{t}_1=0$,ΘTX>=1${\mathrm{\Theta }}^{T}X>=1$
当y=0时为了使得cost0=0$cos{t}_0=0$,ΘTX<=−1${\mathrm{\Theta }}^{T}X<=-1$

SVM会寻找最大的间距分离样本，这也是SVM具有鲁棒性的原因

当C非常大的时候，容易受到噪点的影响，当C不是很大的时候就会忽略掉噪点

Mathematics Behind Large Margin Classification

SVM中的数学理论

假设只有两个特征

假设θ0=0${\theta }_0=0$简化情况，使得分界线经过（0,0）
假设选择左图中的分界线，当p(i)$p^{(i)}$很小是，只有当||Θ||$||\mathrm{\Theta }||$很大时p(i)||Θ||$p^{(i)}||\mathrm{\Theta }||$才能大于等于1，所以这不是一个很好的参数
右边的图中p(i)$p^{(i)}$就会大很多，所以||Θ||$||\mathrm{\Theta }||$就可以变小

Kernels

为了构造复杂的非线性分类器，使用kernels（核函数）来达到目的
进行多项式回归时，需要构建多项式，引入核函数就是为了构建多项式

选取三个landmark点，给定x计算f

当x接近l(1)$l^{(1)}$时f1≈1$f_1\approx 1$
当x离l(1)$l^{(1)}$较远时f1≈0$f_1\approx 0$，f度量的是x到l的相似度，越相似f越接近于1

不同δ2${\delta }^2$下f的图
δ2${\delta }^2$越大f下降的速度越慢，越小f下降的速度越快


如何选取landmark
将数据集中所有的x作为landmark，这样特征数量就会变为m+1


SVM中的参数选择

SVMs in Practice

如何使用SVM
在使用核函数之前需要对特征进行归一化处理

SVM中的多分类，与逻辑回归中的多分类一样，有几类就训练几个SVM

逻辑回归和SVM对比