LR和SVM的相同点:

  • LR和SVM都是分类算法。
  • 如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的。
  • LR和SVM都是监督学习算法。
  • LR和SVM都是判别模型。
  • LR和SVM在学术界和工业界都广为人知并且应用广泛。

LR和SVM的不同:

  • 本质上是其loss function不同。逻辑回归方法基于概率理论,假设样本为1的概率可以用sigmoid函数来表示,然后通过极大似然估计的方法估计出参数的值,支持向量机​基于几何间隔最大化原理
  • 支持向量机只考虑局部的边界线附近的点,而逻辑回归考虑全局。
  • 在解决非线性问题时,支持向量机采用核函数的机制,而LR通常不采用核函数的方法。
  • 线性SVM依赖数据表达的距离测度,所以需要对数据先做normalization,LR不受其影响。
  • SVM的损失函数就自带正则!这就是为什么SVM是结构风险最小化算法的原因!而LR必须另外在损失函数上添加正则项!
机器学习(七)逻辑斯蒂回归、线性回归

机器学习(七)逻辑斯蒂回归、线性回归

参考资料

LR和SVM的相同和不同
【机器学习杂货铺】——手推LR

相关文章:

  • 2021-12-09
  • 2021-11-25
  • 2021-10-10
  • 2021-04-12
  • 2021-11-03
  • 2021-05-21
  • 2021-04-30
猜你喜欢
  • 2021-05-18
  • 2021-11-26
  • 2021-10-27
  • 2021-07-30
  • 2021-07-06
  • 2021-07-31
  • 2021-05-04
相关资源
相似解决方案