在机器学习SVM支持向量机中,有损失函数,那损失函数是如何求解的呢?
一.SVM优化
SVM的原始优化目标和约束条件：
线性支持向量机学习除了原始最优化问题，还有另外一种解释，就是最优化以下目标函数：
二.损失函数
1.定义
目标函数的第一项是经验损失或经验风险，函数
称为合页损失函数（hinge loss function）
2.取值
下标"+"表示以下取正值的函数
这就是说，当样本点被正确分类且函数间隔（确信度）
大于1时，损失是0，否则损失是
目标函数的第二项是系数为λ的w的L2范数，是正则化项。
理解
下图为合页损失函数的图像:
横轴表示函数间隔，我们从两个方面来理解函数间隔：
1）正负
当样本被正确分类时，y(wx+b)>0；当样本被错误分类时，y(wx+b)<0。
2）大小
y(wx+b)的绝对值代表样本距离决策边界的远近程度。y(wx+b)的绝对值越大，表示样本距离决策边界越远。
因此，我们可以知道：
当y(wx+b)>0时，y(wx+b)的绝对值越大表示决策边界对样本的区分度越好
当y(wx+b)<0时，y(wx+b)的绝对值越大表示决策边界对样本的区分度越差
从图中我们可以看到 :
1）0-1损失
当样本被正确分类时，损失为0；当样本被错误分类时，损失为1。
2）感知机损失函数
当样本被正确分类时，损失为0；当样本被错误分类时，损失为-y(wx+b)。
3）合页损失函数
当样本被正确分类且函数间隔大于1时，合页损失才是0，否则损失是1-y(wx+b)。
相比之下，合页损失函数不仅要正确分类，而且确信度足够高时损失才是0。也就是说，合页损失函数对学习有更高的要求
来源：
- https://blog.csdn.net/lz_peter/article/details/79614556