Instance-sensitive Fully Convolutional Networks
最近在研究实例分割,很多都是先检测出instance的bounding box,然后再对box内的像素分类,以此确定前景和背景。但是,有些实例并不能用box来表示,比如车道线。而这篇文章是先分割,再确定box,值得研究。
传统的FCN网络一般生成一个score map,并不能区分实例。而这篇论文提出的FCN网络,在1/8的特征图上,输出9(k*k,k=3)个instance-sensitive score maps、一个objectness score map。instance-sensitive score maps 和objectness scores均在stride=8的特征图上,采用stride=1的两个卷积核生成,如上图所示。
在objectness scores map中,每个score对应一个滑动窗口(在1/8的特征图上,以该位置为中心,m*m的矩形窗,论文中,m=21),score的值表示这个滑动窗口存在instance的概率。
assembling
assembling模块没有任何训练参数,仅仅是从instance-sensitive score maps拷贝数据,合成一个大小为m*m的分割图。若有多个实例,则合成多个m*m的分割图。
(PS:偷个懒,截图了。后续再完善)