loss function 损失函数

引入：机器学习中的precision和recall

GT\pred	positve	negative
positive	true positive	false negative
negative	false positive	true negative

$precision = \frac{TP}{TP + FP}$precision=TP+FPTP​$recall = sensitivity = \frac{TP}{TP + FN}$recall=sensitivity=TP+FNTP​$specificity=\frac{TN}{TN+FP}$specificity=TN+FPTN​
precision和recall的分子都是被正确分类（挑选）的部分，分别用挑选为正类的总数（TP+FP）和正类总数（TP+FN）来评估正确的比例。
F1 score便是以相同权重的调和平均去整合在这两个指标：
$\frac{1}{F^1} = \frac{1}{Precision}+\frac{1}{Recall}\implies F^1=\frac{2*P*R}{P+R}\implies F^1=\frac{2*TP}{2*TP+FP+FN}$F11​=Precision1​+Recall1​⟹F1=P+R2∗P∗R​⟹F1=2∗TP+FP+FN2∗TP​

dice loss

dice系数 $s = \frac{2|X\bigcap Y|}{|X|+|Y|}=\frac{2*TP}{2*TP+FP+FN}$s=∣X∣+∣Y∣2∣X⋂Y∣​=2∗TP+FP+FN2∗TP​
$|X\bigcap Y|$∣X⋂Y∣是指X和Y之间的交集，|X|和|Y|分别表示X和Y的元素个数。分子的系数为2，因为分母存在重复计算X和Y之间共同元素。直观上是计算X与Y的相似性，本质上这是同时隐含precision和recall两个指标。
X ：分割图像的ground truth
Y：分割图像的predict分割结果
dice系数差异函数为dice loss
$dice loss =1-dice = 1-\frac{2|X\bigcap Y|}{|X|+|Y|}$diceloss=1−dice=1−∣X∣+∣Y∣2∣X⋂Y∣​训练网络求得极小值
网络最后一层输出为sigmoid

cross-entropy交叉熵损失函数

网络最后一层**函数为softmax（如果是二分类问题，最后一层用softmax与sigmoid的效果是相同的），softmax适用于二分类多分类，经过softmax之后，各个类别加和为1。
二分类：
第i个神经元的交叉熵为
$t_ilog(y_i)+(1-t_i)log(1-y_i)=\begin{cases} -log(y_i) & \quad t_i=1\\ -log(1-y_i) & \quad t_i=0 \end{cases}$ti​log(yi​)+(1−ti​)log(1−yi​)={−log(yi​)−log(1−yi​)​ti​=1ti​=0​
最后一层总的交叉熵损失函数是$-\sum_it_ilog(y_i)+(1-t_i)log(1-y_i)$−∑i​ti​log(yi​)+(1−ti​)log(1−yi​)

focal loss

focal loss主要是为了解决one stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重。
focal loss是对交叉熵损失函数的改进
$L_{fl}=\begin{cases} -(1-y_i)^\gamma log(y_i) & \quad t_i = 1\\ -(y_i)^\gamma log(1-y_i) & \quad y=0 \end{cases}$Lfl​={−(1−yi​)γlog(yi​)−(yi​)γlog(1−yi​)​ti​=1y=0​

在原有的基础上加上一个因子,其中$\gamma >0$γ>0使得减少易分类样本的损失，更关注对于困难的、错分的样本。
一般$\gamma$γ取值为2。
此外，加入平衡因子$\alpha$α,用来平衡正负样本本身比例不均。注意，$\alpha$α不关注难分样本。
一般$\alpha$α取值为0.25。
$L_{fl}=\begin{cases} -\alpha(1-y_i)^\gamma log(y_i) & \quad t_i = 1\\ -(1-\alpha)(y_i)^\gamma log(1-y_i) & \quad y=0 \end{cases}$Lfl​={−α(1−yi​)γlog(yi​)−(1−α)(yi​)γlog(1−yi​)​ti​=1y=0​