先说结论
0、LR给出了后验概率,SVM只有01分类,没有后验概率
1、LR采用logistic损失(误差平方和损失),SVM采用合页(Hinge)损失。(损失函数是二者的本质区别)
2、LR对异常值敏感;SVM对异常值不敏感,泛华能力强,分类效果好。
3、在训练集较小时,SVM较适用,而LR需要较多的样本。
4、LR模型找到的那个超平面,是尽量让所有点都远离他,而SVM寻找的那个超平面,是只让最靠近中间分割线的那些点尽量远离,即只用到那些支持向量的样本。
5、对非线性问题的处理方式不同,LR主要靠特征构造,必须组合交叉特征,特征离散化;SVM也可以这样,还可以通过kernel,kernel很强大。
6、LR相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础.
SVM优缺点:
优:泛化错误率低,计算开销不大,结果易解释。
缺:SVM对参数调节和核函数的选择敏感,原始分类器不加修改仅适用于处理二类问题。
Logistic优缺点:
优:计算代价不高,易于理解和实现。
缺:容易欠拟合,分类精度可能不高。
由逻辑回归引入SVM
损失函数为:
SVM简化一下逻辑回归的损失函数,如蓝色折现所示:
绿色是
蓝色是
.由于的限制 θ不会太大,若P也不够大,
就很难实现
所以促使分类器向下面这样演化:
核函数 kernel
landmark怎么选?
参考链接:
https://www.jianshu.com/p/b9e3fd894770
https://blog.csdn.net/u012052268/article/details/78816779
https://blog.csdn.net/u012313437/article/details/80757118