由于传统深度学习数据样本训练和测试的分布都是一致的,对于难以获取的数据采用传统方法会有很大的数据获取难度,因此,跨域检测是一个很好的方向。
域转移的机制有四种类型:
基于差异、基于对抗、基于重构、基于混合
1.基于差异的DDAOD方法:
使用标记的或者未标记的目标域数据对基于深度网络的检测模型进行微调来减少域偏移
——Pedestrian detection with unsupervised multispectral feature learning using deep neural networks
合成图像到真实图像的转换,主要基于Faster RCNN
* * *
2.基于对抗的DDAOD方法:
利用domain discriminators 来使得源域和目标域混淆
——domain adaptive faster rcnn
主要通过实例级别和图像级别分别对ROI输出向量和backbone输出底层特征进行适应,域分类器采用梯度翻转GRL
——Adapting Object Detectors via Selective Cross-Domain Alignment
本论文主要从instance的角度提出检测自适应的创新型算法(主要就是特征对齐从以往的global转变成local方式)
- 把关注重点放在区域级别的域对齐
——few-shot adaptive Faster-RCNN
也是图像级别和实例级别进行适应
——Multi-Adversarial Faster-RCNN for Unrestricted Object Detection
本文的优点有三:
1)针对图像分布导致区域差异时目标检测器常常出现区域不相容的问题,提出了一种分层域特征对齐模块,该模块设计了多个用于分层域特征混淆的对抗域分类器子模块;
2)为了提高对抗性领域适应的训练效率,提出了一种用于层次特征图调整的信息不变尺度缩减模块(SRM);
3)为了提高领域适应能力。将具有检测结果的聚合建议特征输入到所提出的加权梯度反转层(wgrl)中,用于描述难以混淆的域样本。
——SCL: Towards Accurate Domain Adaptive Object Detection via Gradient Detach Based Stacked Complementary Losses
使用多个互补损失来进行更好的优化,并提出了梯度分离训练来学习更多的判别表示
基于重建的DDAOD方法
——Cross-Domain Car Detection Using Unsupervised Image-to-Image Translation: From Day to Night
主要还是无监督方法,利用cyclegan转换数据集风格,标注直接利用原数据集的标注 因为仅仅是转换了风格,本文就是通过白天的自然驾驶场景数据集转换为夜晚数据集,然后就是正常的训练检测
——Domain-Adaptive Pedestrian Detection in Thermal Images
解决热图像和彩色图像之间的域偏移,作者提出学习一对图像转换器,和行人检测器一起再两种模态之间转换图像。
混合DDAOD方法
——Cross-Domain Weakly-Supervised Object Detection Through Progressive Domain Adaptation
提出一种新颖的跨域检测任务,主要还是利用了CycleGAN
——Pixel and feature level based domain adaptation for object detection in autonomous driving
像素水平和特征水平的域适应。像素水平主要是CycleGAN,特征水平则利用了Faster RCNN
思考:
1.域适应部分,图像级别和实例级别的适应比较符合Faster RCNN的架构,可针对区域box的适应做些文章;
2.域分类器部分,两条路,一方面通过GRL进行最原始的反转增大两域差异,另一方面可对于尺度缩减部分进行GRL改进,还有一方面直接通过对抗网络进行判别器和生成器的设计
3.backbone部分,采用小目标分辨较高的网络以及对多尺度特征进行考虑,此部分暂时已经有新想法并实践成功
DDAOD分为以下几种类型:
有监督、半监督、弱监督、少样本和无监督
常用检测器:
Faster RCNN、YOLO、SSD