论文分为数据集和图像风格迁移算法(两个数据集之间)两部分:
这是属于无监督的迁移,GAN
Motivation:
1.数据集和现实的区别:1.规模小2.场景单一 3.光照单一
解决:因此提出了更为复杂的数据集MSMT17。
2.想解决训练集测试集不均衡的问题:(目前训练测试集基本上时1:1的比例)
方法:重用之前的别的数据集训练。但是数据集之前的gap导致识别率低。
Multi-SceneMulti-Time person ReID dataset
1)更大的身份数,边界框和相机。
126,441bounding boxes of 4,101 identities
2)复杂的场景和背景。
校园内15个摄像机网络。12个户外摄像机和3个室内摄像机。一个月内选择不同天气条件的4天进行视频采集。每天早上,中午和下午分别拍摄3小时的视频。它比以前的数据集更适合场景模拟,但会带来严重的照明变化。
3)多个时隙导致严重的照明变化。
MSMT17包含最多数量的相机,即放置在不同位置的15个相机。它还与室内和户外视频一起构建,并未考虑在以前的数据集中。这些考虑导致复杂的背景和照明变化,也使MSMT17更具吸引力和挑战性。
4)更可靠的包围盒检测器。
与DPM相比,FasterRCNN [26]是实际应用中边界框检测的更好选择,例如更容易实现并且更准确。
视角与Market1501类似。出现在4个摄像机下的情况最多。
他们之前的一下工作在这个数据集上的测试
图像风格迁移(两个数据集之间):
在一个dataset上训练,在另一个dataset上测试往往效果不好。
因此提出:Person Transfer Generative Adversarial Network (PTGAN) .
来自A数据集中被转移的人希望保持他们的身份,同时呈现与B数据集中的人物类似的风格,例如背景,照明等。
在Cycle-GAN基础上做的,但对人的身份有额外限制以确保传输的图像可用于模型训练。
前景框保证 人不会变太多。
loss function 如下
进行风格转移和身份不会变太多。
其中:L_style中,G表示从A到B和G的样式映射函数,-G表示从B到A的样式映射函数.DA和DB分别是A和B的样式鉴别器。
L_ID:其中G(a)代表来自图像a的被转移人物图像,并且M(a)代表人物图像a的前景蒙版。本论文使用PSPNet人物图像上的mask。
转移效果:
测试性能:
这个性能表很有意思的是,直接transfer to测试集的效果没有很好。但是训练集用trans to训练集+测试集来做训练,效果提升一倍。这说明,对于小数据集而已,query镜头和gallery镜头下的信息都必不可少!学习两个镜头下的差异非常有帮助!
作者主页: