一直以来各种机器学习或者说统计学习算法的损失函数都是独立讨论的，在这里对这些作一个汇总，期待能找到之间的联系。
在这里提及的算法有
1、线性回归
2、逻辑回归
3、支持向量机
4、决策树
5、
一、线性回归
二、逻辑回归
对于二分类问题有
三、支持向量机
首先先介绍一下关于点到直线距离的小知识
如图所示，直线的方程是
，
是
过P点的法向量，则点P到直线的距离为
在这里如果把(x,y)看成 ，直线公式为
的话，d的公式的分子可以看成无符号的函数间隔，而分母恰好是
的二范数。即d是几何间隔和空间上的几何距离可以看做一个东西。（我这么理解，不一定正确）
接下来是传统的SVM推导过程
上述是在线性可分的情况，如若线性不可分，需要加松弛条件，可以对每个样本点 引进一个松弛变量
,这样约束条件变为
同时，对每个松弛变量,支付一个代价
，目标函数由原来的
变成
这里，>0称为惩罚参数，一般由应用问题决定，
值大时对误分类的惩罚增大，
值小时对误分类的惩罚减小。
(我的理解：如果SVM线性可分的话，那么相对于分类超平面来说，损失就是0，因为所有的样本点都被正确分类了，此时优化的其实就相当于一个正则项，仅仅是为了更好的泛化。而加上松弛变量之后，才有了真正的分类损失)。
四、决策树
部分内容引用自
1、https://blog.csdn.net/ajaccio8899/article/details/82924425
2、https://ask.julyedu.com/question/85100
3、https://www.jianshu.com/p/699a13c9a253