【极简笔记】Focal Loss

【极简笔记】Focal Loss

Focal Loss for Dense Object Detection

文章的核心就是提出了focal loss用来取代原有的cross entropy loss

pt={p,1−p,if y=1otherwise$$p_t=\{\begin{array}{ll}p,& \text{if }y=1\\ 1-p,& \text{otherwise}\end{array}$$

CE(pt)=−log(pt)$$CE(p_t)=-\log (p_t)$$

FL(pt)=−(1−pt)γlog(pt)$$FL(p_t)=-(1-p_t{)}^{\gamma }\log (p_t)$$

focal loss中γ$\gamma$是可调参数，实验中取γ=2$\gamma =2$最优。作者同样尝试加上α$\alpha$ balance效果的loss functionFL(pt)=−α(1−pt)γlog(pt)$FL(p_t)=-\alpha (1-p_t{)}^{\gamma }\log (p_t)$，当γ=2,α=0.25$\gamma =2,\alpha =0.25$效果最好。作者同样试验了多种类似focal loss的函数均取得相似效果（Hinge loss不稳定不行）

用focal loss是为了解决检测正负样本比例不均衡的问题。比例不均衡导致（1）在大部分区域都是easy negatives导致训练不高效（2）easy negative数量太多，累积的loss主导了训练引起模型退化。focal loss通过大幅降低easy sample 权重，小幅降低hard sample权重（这点可以从公式中理解出来）从而增强两者对比使得hard sample loss能够主导训练误差。和Online Hard Example Mining(OHEM)区别是OHEM完全放弃了easy sample，FL还是保留了的，而且训练更加高效。

作者为了试验focal loss用了one-stage model RetinaNet和state-of-art进行了对比，获得曲线是现有结果的envelope。以及在RetinaNet网络初始化时候用了点trick(对CE和FL效果都好)。比如在二分类问题中常常设y=±1$y=\pm 1$，出现频率高的一方的loss会主导总误差，在训练初期导致不稳定，因此想法是把频率高的一方设一个小的先验，例如π=0.01$\pi =0.01$，这能够增强训练稳定性（与loss function无关）。文中还有一句：Results are insensitive to the exact value of π$\pi$ so we use π=.01$\pi =.01$ for all experiments.