UNPAIRED CROSS-SPECTRAL PEDESTRIAN DETECTION VIA ADVERSARIAL FEATURE LEARNING
当前的问题及概述：
本文提出的框架采用行人检测网络和区域生成的对抗网络，能够生成互补的跨光谱行人特征。本文多光谱行人检测的说明：
模型及loss：
本文提出的跨模态行人检测框架。使用两个交叉光谱嵌入网络将每个光谱图像编码到公共空间中。为了对RGB和IR输入的互补信息进行编码，我们对每个与行人相关的感兴趣区域R (ROI)使用两个鉴别器，进一步应用了跨模态域适应方案。AC和AT分别为color image和thermal image的feature。
2.1Unified Detection Network
这个部分迁移Focal loss for dense object detection一文中的RetinaNet architecture进行分类和回归任务，其中分类loss采用focal loss：
回归loss采用smooth l1 loss
2.2Adversarial Network
这个部分的作用是混淆RGB和热图的模态差异，由于全局的不准确性，在这个部分的判别器分别输入的是ATRT和ACRC，也就是通过ROI后的行人的区域，判别器输出的是RGB（或IR）的得分，当判别器无法分辨出RGB和IR图像时达到目的，缩小模态间差异。其中adversarial loss：
2.3 overall：
objective function：
实验：
数据集：KAIST multi-spectral benchmark
不同框架的测试结果：
(a) Ground-truth, (b) RetinaNet-C [18], © RetinaNet-T [18], (d) Ours (Color), and Ours (Thermal)
总结：
本文首先借用了RetinaNet 的框架和loss进行分类和回归任务，其中分类loss采用focal loss，回归loss采用smooth l1 loss，本文最大的亮点是通过对抗网络混淆两个模态间的差异，首先cnn得到的feature map经过rpn得到有目标的框（初步筛选有行人），然后用过roi pooling层都处理成统一尺寸给鉴别器判断，这里的两个判别器分别学习RGB和IR图像的特征，当判别器对两个模态的打分各位0.5时，达到纳什均衡，也就是达到了混淆两个模态特征的目的，缩小了模态间差异，使得网络弱化模态特征，从而更关注部分行人的特征。