机器学习-损失函数

为什么使用损失函数

$\theta_{j+1}=\theta_j-\eta\frac{\partial J(\theta_j)}{\partial \theta_j}$θj+1​=θj​−η∂θj​∂J(θj​)​

$\theta_{j+1}$θj+1​:更新后的权重；$\eta$η:学习率；$\frac{\partial J(\theta_j)}{\partial \theta_j}$∂θj​∂J(θj​)​:权重的梯度。
$\frac{\partial J(\theta_j)}{\partial \theta_j}$∂θj​∂J(θj​)​<0时，$\theta$θ向右；
$\frac{\partial J(\theta_j)}{\partial \theta_j}$∂θj​∂J(θj​)​>0时，$\theta$θ向左；
即，$\theta$θ每次更新，都朝最小的方向。

损失函数的性质

1. 连续可导，且导数不是处处为零。
2. 非负。因为损失函数最小时，预测和真实值完全一致，损失函数为零，也就是说，损失函数最小为零，即非负。

常用的损失函数

均方误差(MSE)

均方误差是常用的回归损失函数。
$MSE=\frac{1}{n}\sum^n_{i=1}(y_i-\hat{y_i})^2$MSE=n1​i=1∑n​(yi​−yi​^​)2

$\hat{y_i}=w_ix_i+b_i$yi​^​=wi​xi​+bi​

$\frac{\partial MSE}{\partial w_i}=2x_i(w_ix_i+b_i-y_i)=2x_i(\hat{y}_i-y_i)$∂wi​∂MSE​=2xi​(wi​xi​+bi​−yi​)=2xi​(y^​i​−yi​)

即
$L(y,\hat{y})=\frac{1}{n}\sum^n_{i=1}(y_i-\hat{y_i})^2$L(y,y^​)=n1​i=1∑n​(yi​−yi​^​)2

$\frac{L(y,\hat{y}) }{\partial w}=2x(wx+b-y)=2x(\hat{y}-y)$∂wL(y,y^​)​=2x(wx+b−y)=2x(y^​−y)

当$\hat{y}_i$y^​i​和$y_i$yi​相差越大，loss越大。

平均绝对误差(MAE)

$MAE=\frac{1}{n}\sum^n_{i=1}|y_i-\hat{y_i}|$MAE=n1​i=1∑n​∣yi​−yi​^​∣

$\hat{y_i}=w_ix_i+b_i$yi​^​=wi​xi​+bi​

$\frac{\partial MAE}{\partial w_i}=\left\{ \begin{aligned} -x_i,w_ix_i+b_i-y_i<0 \\ x_i,w_ix_i+b_i-y_i>0 \\ \end{aligned} \right.$∂wi​∂MAE​={−xi​,wi​xi​+bi​−yi​<0xi​,wi​xi​+bi​−yi​>0​

MSE和MAE的区别：

1. MSE比MAE更敏感，训练速度更快。
2. MSE对于异常值也非常敏感，而MAE对异常值的抑制更好一点。

问题：分类问题能用MSE吗？
答案：是可以的，但是一般不用。
以逻辑回归为例：$a=\frac{1}{1+e^{-z}}$a=1+e−z1​

$z=wx+b$z=wx+b

$MSE=\frac{1}{2}(a-y)^2$MSE=21​(a−y)2

$\frac{\partial MSE}{\partial w_i}=\frac{\partial MSE}{\partial a}\frac{\partial a}{\partial z}\frac{\partial z}{\partial w}=(a-y)\sigma^{'}(z)x$∂wi​∂MSE​=∂a∂MSE​∂z∂a​∂w∂z​=(a−y)σ′(z)x

$\sigma'(z)=(1-a)a$σ′(z)=(1−a)a

即
$L(y,\hat{y})=\frac{1}{2}(\hat{y}-y)^2$L(y,y^​)=21​(y^​−y)2

$\frac{L(y,\hat{y}) }{\partial w}=(\hat{y}-y)\sigma'(z)x$∂wL(y,y^​)​=(y^​−y)σ′(z)x

在$z$z较大或较小时，$\sigma'(z)\thickapprox0$σ′(z)≈0,所以训练的很慢，故一般不用MSE来作为分类问题的损失函数。
分类问题的损失函数，我们希望损失函数的导数为$(a-y)x$(a−y)x。

交叉熵损失函数(cross_entropy)

信息量

一个事件发生的概率越大，则信息量越小。$I(x)=-log(P(x))$I(x)=−log(P(x))

例如：
事件A：锅考试及格的概率为$P(xA)=0.1$P(xA)=0.1, $I(xA)=-log(0.1)=3.3219$I(xA)=−log(0.1)=3.3219
事件B：盆小考试及格的概率为$P(xB)=0.999$P(xB)=0.999, $I(xB)=-log(0.999)=0.0014$I(xB)=−log(0.999)=0.0014

熵

$p$p是真实分布(在分类中对应类别标签)，$q$q是模型预测出来的概率分布，交叉熵是非对称的，描述的是假设一个预测的概率分布$q$q服从的是真实分布$p$p，所需要的平均信息量。(越小越好)
如果预测的分布$q$q越接近真实的分布$p$p，那么这个信息量就越小。
$H(p,q)=-p(x)logq(x)$H(p,q)=−p(x)logq(x)

以逻辑回归为例：
$a=\frac{1}{1+e^{-z}}$a=1+e−z1​

$z=wx+b$z=wx+b

$cross\_entropy=-yloga-(1-y)log(1-a)$cross_entropy=−yloga−(1−y)log(1−a)

$\frac{\partial cross\_entropy}{\partial w}=\frac{\partial cross\_entropy}{\partial a}\frac{\partial a}{\partial z}\frac{\partial z}{\partial w}=(-\frac{y}{a}+\frac{1-y}{1-a})\sigma'(z)x=(a-y)x$∂w∂cross_entropy​=∂a∂cross_entropy​∂z∂a​∂w∂z​=(−ay​+1−a1−y​)σ′(z)x=(a−y)x

即$L(y,\hat{y})=-(\hat{y}logy_i+(1-\hat{y})log(1-y_i))$L(y,y^​)=−(y^​logyi​+(1−y^​)log(1−yi​))

$\frac{\partial L(y,\hat{y})}{\partial w}=(y-\hat{y})x$∂w∂L(y,y^​)​=(y−y^​)x

多分类交叉熵损失函数

1. softmax loss
   $a_i=softmax(z_i)=\frac{e^{y_i}}{\sum^n_{i=1}e^{y_i}}$ai​=softmax(zi​)=∑i=1n​eyi​eyi​​

$L(y,\hat{y})=-\frac{1}{n}\sum^n_{i=1}\hat{y}_ilog(a_i)$L(y,y^​)=−n1​i=1∑n​y^​i​log(ai​)

2. focal loss
   Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。
   $a_i=softmax(z_i)=\frac{e^{y_i}}{\sum^n_{i=1}e^{y_i}}$ai​=softmax(zi​)=∑i=1n​eyi​eyi​​

$L(y,\hat{y})=-\frac{1}{n}\sum^n_{i=1}\hat{y}_i\partial_i(1-a_i)^\gamma log(a_i)$L(y,y^​)=−n1​i=1∑n​y^​i​∂i​(1−ai​)γlog(ai​)

论文中α=0.25，γ=2效果最好。

3. 合页损失hinge_loss
也叫铰链损失，是svm中使用的损失函数。
由于合页损失优化到满足小于一定gap距离就会停止优化，而交叉熵损失却是一直在优化，所以，通常情况下，交叉熵损失效果优于合页损失。
$L(y,\hat{y})=\frac{1}{n}\sum^n_{i=1}max(0,1-\hat{y}_iy_i)$L(y,y^​)=n1​i=1∑n​max(0,1−y^​i​yi​)

总结

回归用MSE，分类用交叉熵。