2、code见:https://github.com/matterport/Mask_RCNN/tree/master/samples/balloon
代码注释非常详细,还有优化点,可以先看论文再看code
思想:
1、使用FPN作为抽取特征的骨干网络,然后train。
2、train了 FPN后,用于生产proposal,来train 分类器、reg、mask三个loss。
FPN:
图中1号绿色框,使用resnet101的2 3 4 5层,得到特征map => FPN[P2,P3,P4,P5,P6],第6层是对第五层的max pool.
然后输入原始数据,计算anchors和rpn的输出,通过IOU>0.5得到ROI,ROI类别,、ROImask、ROI_reg,作为计算loss的ground_truth.
分类 reg:
对上面的ROI计算等级,排序取前符合等级的ROI,过两个卷积提取特征,分别再连接一个dense预测类别 和 reg。
mask:
ROI提取同上,经过5个卷积用于计算 mask
画了个草稿图,记录了大体流程:
刚入门cv,所以对于mask rcnn理解可能有点偏差,如有误导,深感抱歉。欢迎一起讨论。
红色框为loss