概念:支持向量运算的分类器,在数据上应用基本形式的SVM分类器就可以得到低错误的结果,能够对训练集以外的数据点做出很好的分类决策。

名词:

支持向量:离分离超平面最近的那些点,需要找到最大化支持向量到分隔超平面的距离的优化求解方式。

分割超平面:在二维空间内,分隔超平面就是一条直线,可以分开两种不同的点,在n维空间内,分隔超平面则是n-1

点到超平面的距离:机器学习——支持向量机主要思想也是几何距离,求d的最大间隔

函数距离:机器学习——支持向量机主要思想也是约束条件,当该条件成立时,最优

图形:

机器学习——支持向量机主要思想



描述:

  如果想要求出最优的方案,则需要点到超平面的距离(分类间隔)最大,则需要求d的最大间隔。当机器学习——支持向量机主要思想成立时(即所有的支持向量的样本点满足这个公式),我们需要求机器学习——支持向量机主要思想的最大值,经过变形,则需要求机器学习——支持向量机主要思想的最小值。

     根据拉格朗日公式求有条件的极值问题,公式变形如下:

                           机器学习——支持向量机主要思想


我们添加了一个 机器学习——支持向量机主要思想(拉格朗日乘子),且大于等于0,对w,b分别求偏导则可得

机器学习——支持向量机主要思想

将求出的w,b的值带入到拉格朗日公式中,求出

机器学习——支持向量机主要思想

                     

kkt条件:

机器学习——支持向量机主要思想

不满足的kkt条件:

机器学习——支持向量机主要思想

 以上的推理都是在理想状态化,现实中不可能有那么刚好的分类,所以为了能够继续使用这个算法,我们在公式中引入了松弛变量机器学习——支持向量机主要思想,松弛变量的作用就是能够允许一些特殊的值,这个时候我们有加入了惩罚因子,也是常数C,它的作用是控制“最大化间隔”和保证大部分的点的函数间隔小于0.1,常数C并不是一成不变的,他会随着数据的更新而更新。

  公式:机器学习——支持向量机主要思想


约束条件:机器学习——支持向量机主要思想


拉格朗日公式:机器学习——支持向量机主要思想


求偏导:机器学习——支持向量机主要思想


化简:

机器学习——支持向量机主要思想

根据以下条件:机器学习——支持向量机主要思想

最后化简为:机器学习——支持向量机主要思想

这里主要是对机器学习——支持向量机主要思想的范围有了变化,其他结果和理想状态化一致。

相关文章:

  • 2022-12-23
  • 2021-07-13
  • 2021-06-12
  • 2021-07-26
猜你喜欢
  • 2021-11-19
  • 2021-09-07
  • 2021-05-02
  • 2021-11-19
  • 2021-10-03
相关资源
相似解决方案