incremental few-shot learning

论文的主要目的:在不使用原始训练数据的情况下,对新增加类别的少量数据进行训练以进行增量学习。

Related Work

  1. object detection

作者比较了一阶段和二阶段检测模型,并讲述了一般检测模型的不足。检测模型需要大量有标注的数据进行训练,当线上部署的模型需要新增类别时,模型的实用性和可延伸性不足的缺点暴露。作者基于CenterNet作为BackBone进行优化。

  1. Few-shot learning

Few-shot learning泛指从少量标注数据中学习的方法和场景。作者指出Few-shot learning的相关研究主要在图像分类的领域,而这篇论文主要在目标价册的领域上对Few-shot learning进行了研究。

  1. Few-shot object detection and beyond

作者指出在Few-shot object detection领域的相关工作没有考虑增量学习相关的内容,这会大大降低模型的可延伸性。论文在考虑到工业应用的实际情况-工业上在大规模数据中重复训练非常困难,所以论文不使用原有数据集,只在新增数据上训练。这中限定的设计会降低性能,但这项研究是非常具有现实意义的。

Object Detection Architecture

作者提到了现有的常用的目标检测模型:Faster-RCNN,YOLO,SSD,Retinanet,CenterNet(本篇论文中使用CentreNet),并对CenterNet模型进行了回顾介绍。下面介绍作者选择CenterNet作为BackBone的原因:

  1. Faster-RCNN是一个二阶段检测并且在第二阶段使用了softmax进行了分类,导致模型不够灵活。
  2. CenterNet相比其它的单阶段检测模型具有更好的精度与速度。
  3. CenterNet对每一个类进行建模。补充:其实就是对于每一个类分别使用sigmod,防止类间竞争,并且有利于在不影响原有类别的基础上增加新类别。

Incremental Few-shot Object Detection

由于CenterNet是一个batch learning 的模型,作者根据元学习的策略改进CenterNet,提出OpeN-ended Centre nEt (ONCE). ONCE结构图下图所示,将CenterNet分为两个部分:feature extractor进行特征提取,包括原有类别和新增类别的提取;object locator对每个类别进行检测,生成heatmap形式的检测结果。

incremental few-shot learning论文阅读

ONCE的体系结构图如下图所示。ONCE模型训练的步骤:

  1. 使用正常的CenterNet在大量的数据下进行训练,形成基类模型
  2. 冻结feature extractor阶段的参数。使用少量数据在新增类别上新型训练,生成 class codes.( class codes的训练为本文的核心)

incremental few-shot learning论文阅读

关于阶段2的训练:

训练生成的class code 与阶段1生成的Feature maps进行混合,使用meta learning的策略,使用基类数据形成大量few-shot任务。

测试阶段:

  1. 输入测试数据得到 class code
  2. 计算测试图像的特征(feature extractor)
  3. 得到新类别的heatmap
  4. 通过heatmap得到候选框
  5. 对候选框进行处理得到最后的预测值

评价:本篇论文是meta learning 跟目标检测的结合(CenterNet),通过对CenterNet进行拆解,对特征提取的环节使用meta learning的策略。实现目标检测对少量数据新增类别的增量学习。

相关文章:

  • 2021-04-17
  • 2021-05-22
  • 2021-09-06
  • 2021-11-03
  • 2022-12-23
  • 2021-05-13
  • 2021-10-31
  • 2021-10-09
猜你喜欢
  • 2021-10-24
  • 2021-12-29
  • 2021-07-12
  • 2021-08-12
  • 2021-06-21
  • 2021-10-05
  • 2021-07-21
相关资源
相似解决方案