incremental few-shot learning
论文的主要目的:在不使用原始训练数据的情况下,对新增加类别的少量数据进行训练以进行增量学习。
Related Work:
- object detection
作者比较了一阶段和二阶段检测模型,并讲述了一般检测模型的不足。检测模型需要大量有标注的数据进行训练,当线上部署的模型需要新增类别时,模型的实用性和可延伸性不足的缺点暴露。作者基于CenterNet作为BackBone进行优化。
- Few-shot learning
Few-shot learning泛指从少量标注数据中学习的方法和场景。作者指出Few-shot learning的相关研究主要在图像分类的领域,而这篇论文主要在目标价册的领域上对Few-shot learning进行了研究。
- Few-shot object detection and beyond
作者指出在Few-shot object detection领域的相关工作没有考虑增量学习相关的内容,这会大大降低模型的可延伸性。论文在考虑到工业应用的实际情况-工业上在大规模数据中重复训练非常困难,所以论文不使用原有数据集,只在新增数据上训练。这中限定的设计会降低性能,但这项研究是非常具有现实意义的。
Object Detection Architecture:
作者提到了现有的常用的目标检测模型:Faster-RCNN,YOLO,SSD,Retinanet,CenterNet(本篇论文中使用CentreNet),并对CenterNet模型进行了回顾介绍。下面介绍作者选择CenterNet作为BackBone的原因:
- Faster-RCNN是一个二阶段检测并且在第二阶段使用了softmax进行了分类,导致模型不够灵活。
- CenterNet相比其它的单阶段检测模型具有更好的精度与速度。
- CenterNet对每一个类进行建模。补充:其实就是对于每一个类分别使用sigmod,防止类间竞争,并且有利于在不影响原有类别的基础上增加新类别。
Incremental Few-shot Object Detection
由于CenterNet是一个batch learning 的模型,作者根据元学习的策略改进CenterNet,提出OpeN-ended Centre nEt (ONCE). ONCE结构图下图所示,将CenterNet分为两个部分:feature extractor进行特征提取,包括原有类别和新增类别的提取;object locator对每个类别进行检测,生成heatmap形式的检测结果。
ONCE的体系结构图如下图所示。ONCE模型训练的步骤:
- 使用正常的CenterNet在大量的数据下进行训练,形成基类模型
- 冻结feature extractor阶段的参数。使用少量数据在新增类别上新型训练,生成 class codes.( class codes的训练为本文的核心)
关于阶段2的训练:
训练生成的class code 与阶段1生成的Feature maps进行混合,使用meta learning的策略,使用基类数据形成大量few-shot任务。
测试阶段:
- 输入测试数据得到 class code
- 计算测试图像的特征(feature extractor)
- 得到新类别的heatmap
- 通过heatmap得到候选框
- 对候选框进行处理得到最后的预测值
评价:本篇论文是meta learning 跟目标检测的结合(CenterNet),通过对CenterNet进行拆解,对特征提取的环节使用meta learning的策略。实现目标检测对少量数据新增类别的增量学习。