Paper Reading Note
URL: https://arxiv.org/pdf/1803.01534
TL;DR
提出PANet，在FPN的基础上加入一条bottom-up的路径，缩短了低层特征和高层特征之间的信息路径，加强了整体的特征结构；提出了adaptive feature pooling，池化过程中考虑所有尺度的特征；另外，在Mask RCNN中增加了额外的全连接分支以提升mask预测
Dataset/Algorithm/Model/Experiment Detail
网络整体结构如图1所示，在FPN的基础上，增加了一条bottom-up的路径，如图1(b)所示，增加这条路径的动机是增加对于浅层特征的响应，在实例分割任务中，浅层特征对于边缘和位置的确定非常重要，如(b)中绿色虚线所示，这条路径是一条浅层特征到高层特征的shortcut，其只包含不超过10层，而FPN中的CNN主干，浅层到高层特征则经过了超过100层（如(a)中红色虚线所示）
bottom-up路径具体操作如图2所示，feature map 先过一个3x3卷积，然后和feature map 相加，之后再过一个3x3卷积，得到
论文提出的adaptive feature pooling如图6所示，其动机是，作者认为FPN中，两个相似的proposal会因为细微的像素差而被assign给不同的level，另外，作者通过实验验证，feature的重要性并不一定和其所处的level是强相关的，因此，作者在ROIAlign的过程中，取了所有level的feature，再进行融合，作者在ablation study中还实验了fusion和fc1, fc2的位置关系对模型性能的影响，结论是如图6中的位置最好，另外，fusion发生在conv1和conv2中间
论文第三个创新点，是在预测mask的branch上，加入了一个全连接层（如图4下面的分支所示）用于预测前景/背景，然后和Mask RCNN中原有的预测mask的分支相加，得到最终mask的预测结果
COCO上分割和检测结果如表1和表2所示，均超过了2016年的冠军算法
从Mask RCNN开始逐渐加入一些方法的ablation study如表3所示：
Thoughts
针对分割任务，设计了PANet，缩短了浅层特征到高层特征的连接。对于检测任务也有一定参考价值，后续Google Brain的EfficientDet就是基于PANet进行了进一步改进。