CornerNet论文笔记

粗读概念

1. 论文提出了什么?

---

• 论文提出了一种不需要$anchor\ boxes$anchor boxes的目标检测的方法
• 提出了一种新的$corner-pooling$corner−pooling操作
• 属于$anchor-free$anchor−free的方法

2. 论文为什么提出这种方法?解决了什么问题

---

• 此前的$one-stage\ detecor$one−stage detecor需要在图像上生成许多$anchor boxes$anchorboxes, 但是只有少量的$box$box能够在
  覆盖到有目标的地, 过多的$negative\ box$negative box导致样本不平衡,从而训练缓慢

• 需要$anchor boxes$anchorboxes 的方法通常需要设置许多超参数, 例如$box$box数量, 长宽比, 大小等, 这些通常需要一些经验来支持更好的结果

3. 方法描述

---

通过卷积网络生成一组$top-left\ corner$top−left corner和一组$bottom-right\ corner$bottom−right corner以及它们对应的$embedding\ vector$embedding vector, 这个$vector$vector的作用是匹配属于一个$object$object的左上右下的角点

4. corner pooling

---

• 作者提出$corner\ pooling$corner pooling是因为实际中, $object\ box$object box的角点通常是在$object$object的外面的, 所以没有本地的依据来进行调整, 如下图所示, 作者提出一种新的$cornet\ pooling$cornet pooling 来解决这个问题

• 具体是对角点的水平和垂直两个方向,分别在$feature\ map$feature map上取各个$channel$channel上的最大值, 然后再加起来

• 但是文中提到的两个$feature\ map$feature map是指的什么呢??
  以$top-left\ corner$top−left corner为例, 是$hourglass\ network$hourglass network生成$feature\ map$feature map分别做水平和垂直$pooling$pooling生成 $t_{ij}$tij​ 和 $l_{ij}$lij​ 的, 本质上是一个$feature map$featuremap

  

精读部分

3 CornerNet

---

3.1 overview

$CornerNet$CornerNet通过$Human\ Pose\ Estimation$Human Pose Estimation领域中$Hourglass\ Network$Hourglass Network作为$backbone$backbone提取初级特征, 然后将初级特征输入到$Top-left\ Corners$Top−left Corners和$Bottom-right\ Corners$Bottom−right Corners两个预测模块中, 经过$corner\ pooling$corner pooling及后续的$nn$nn得到$Heatmaps,\ Embeddings,\ Offsets$Heatmaps, Embeddings, Offsets三个输出, 其中$Heatmaps$Heatmaps为$C×H×W$C×H×W的$binary\ mask$binary mask, 有C个$channels$channels分别对应C个$classes$classes, $H×W$H×W分别对应图上的点是否有$Corners$Corners, $Embeddings$Embeddings用来对预测的两种$corners$corners的$grouping$grouping,也就是配对, $Offsets$Offsets用来微调预测角点的值, 改善网络对小目标的预测结果

3.2 Detecting Corners

---

这个部分主要讲了两个内容:

1. $Negative Position$NegativePosition的定义: 以$gt\ position$gt position为中心, $radius$radius为半径的圆外的点, 其中radius的大小有$gt bbox$gtbbox的大小确定,原则如下图所示,大意是$radius$radius中点组成的$box$box与$gt box$gtbox的$IOU$IOU最小为$t$t, 文中的括号里$0:3$0:3没看懂,感觉是笔误,应该是$0.3$0.3吧(这个不太确定). 对于$negative position$negativeposition的$penalty$penalty, 作者使用$2D Gaussians=e^{-(x^2+y^2)/2\times\sigma^2}$2DGaussians=e−(x2+y2)/2×σ2生成一个$gt\ heatmap$gt heatmap为$y_{cij}$ycij​, 以$gt\ position$gt position为中心,方差为$radius/3$radius/3, 从公式可以看到对于生成的$heatmap$heatmap某个点若对应$y_{cij}=1$ycij​=1(即对应$gt\ position$gt position),按照上式求$loss$loss, 对于其他$negative\ position$negative position,越接近$gt\ position$gt position, 那么$(1-y_{cij})$(1−ycij​)则越小, 也就是惩罚越小,来计算$loss$loss.

   
   

   

2. $Offsets$Offsets: 许多网络下采样后将预测的左边remap回原始图像时通常会损失一些精确度, 所以作者在$CornerNet$CornerNet中设置$offsets$offsets来微调预测的坐标使结果更准确.其中$(2)$(2)式为计算偏差公式, 那么$\omicron_{k}$οk​和$\hat\omicron_{k}$ο^k​分别对应$gt\ offset$gt offset与$predict\ offset$predict offset, 最后通过$SmoothL1Loss$SmoothL1Loss来学习. $SmoothL1Loss$SmoothL1Loss是$Fast\ RCNN$Fast RCNN中提出的,相比$L1$L1收敛更快,相比$L2$L2对于离群点、异常值更加鲁棒,训练不容易跑飞

   

3.3 Grouping Corners

---

这个部分讲如何将预测的$corners$corners进行配对,文中写的方法是based on the distance between the embeddings of corners ,但是具体距离的计算公式什么,文中没有给出,也许可以在作者提到的$Newell$Newell的论文中有提到, 此外作者引用$Newell$Newell论文中$pull-push$pull−push的方法训练使成对的$corner$corner接近,不成对的进行远离.

3.4 Corner Pooling

---

大概原理如下图所示, 文中说的$vector$vector应该指的是$1\times channel$1×channel, 也就是从$spatial$spatial的每个点看向$channel$channel方向, 下图是一个$channel$channel的$top-left\ corner\ pooling$top−left corner pooling情形,分别从右往左与从下往上$max\ pooling$max pooling

4 Experiments

---

实验中作者验证了论文几个$key\ components$key components的结果,总结如下:

1. 不同$pooling$pooling方式的对比显示$corner pooling$cornerpooling在$AP$AP上提高2%

2. $negative\ penalty$negative penalty中$radius$radius的三种方式对比, 不要$radius$radius效果最差, $fixed\ radius$fixed radius提高接近3%, $object-dependent\ radius$object−dependent radius提高5.5%(这个是文中使用的方法)

3. 在$backbone network$backbonenetwork的对比中$Hourglass+corners$Hourglass+corners比$FPN+corners$FPN+corners提到6%多, 性能差别还是挺大的.