1.摘要
传统的域迁移方法主要是减小源域和目标域间的特征分布差距，但是忽略了在目标域中的类内变化，使得其对目标域的测试结果产生很大的影响，在这项工作中，主要是探究在目标域的类内变量，提出了用于存储目标域中三个不变属性的记忆槽，即个体不变属性，相机风格不变属性，邻居不变属性，使得行人重识别模型泛化能力更强。
2.创新点
1)综合的研究了目标域中的三个潜在的不变属性，实验证明这些属性对于行人重识别模型的迁移能力的提升必不可少。
2)提出了一个记忆模块,可以有效的将三个不变的属性应用到系统中，准确率可以得到很大的提升，并且只需要很少的额外计算量和GPU存储空间。
3.方法
使用预先在ImageNet训练的ResNet-50作为网络的框架，保留ResNet-50的Pooling-5层作为基础网络并在后面添加一个4096维的全连接层，这个新的全连接层称为FC-4096，之后是批规范化，ReLU,Dropout和两个模块。第一个是分类模块用于在源域中的有监督学习，含有M维的全连接层，记作FC-#id，和一个softmax**函数，使用交叉熵损失函数计算源域的损失。另一个是记忆模块用于无标签的目标域的不变属性学习，记忆模块作为特征存储器存储每个目标图片的最新的FC-4096层的输出，通过评估目标样本的相似性，计算目标域的属性不变损失。
3.1 源域的监督学习
由于源域中的图像的身份可知，所以使用交叉熵损失函数用于优化网络，损失函数公式如式(1)
3.2 记忆槽
记忆槽是一个键值结构，每个插槽的键部分存储了经过L2归一化的FC-4096的输出特征，在值部分存储了类别标签。对于含有N_t个图像的没有标签的目标数据，认为每个图像都是一个独立的种类，所以，含有N_t个插槽。初始化时，将键全部置为零，值为对应的图像的索引。在反向传播期间，更新键部分的值如式(2)所示：
3.3 目标域的不变属性学习
3.3.1 个体不变属性
即使是相同身份的人，每个图片的外观可能不大相同。假设N_t个目标图像就有N_t个不同的类，即将每张图片作为自己的一个类，对于一个图片x_(t,i)，首先计算x_(t,i)的特征和在键部分存储的特征的cosine相似度，然后，图片x_(t,i)属于类别i的可能性可以用式(3)。
其中，温度系数β∈[0,1]。
损失函数定义如式(4)。
3.3.2 相机风格不变属性
人物的图像在不同的摄像机下会遭遇很大的外观变化，基于一张图片和它的相机风格迁移图片应该互相接近，在目标域中设立相机不变属性，在这篇文章中，每张图片的相机ID是已知的，对于目标数据，将每个摄像机当成是一个域，采用StarGAN去训练一个相机风格迁移模型，通过已经学习好的相机风格迁移模型，C为摄像机的个数，摄像机c拍摄的真正图像通过相机风格迁移得到C-1个图像，并保存着原有的身份，损失函数定义如式(5)：
其中，〖x^〗(t,i)是从图片x(t,i)的相机风格迁移图片中随机选取的一个图片。
3.3.3 邻居不变属性
损失函数定义如式(7):
个体不变属性可以使得每个个体远离，对于增加不同身份的个体的距离是有利的，但是，相同身份的个体的距离也会被拉大。相对的是，邻居不变属性拉近每个个体和她的邻居，可以减少相同身份个体的距离，但是，也会拉近不同身份人的距离。所以在个体不变属性和邻居不变属性中存在一个平衡点。相机不变属性和个体不变属性有着相似的作用，使得个体与其相机风格迁移的样本共享相似的表征。
4. 实验结果
4.1 参数分析
温度系数β
通过表4-1，可以看出β的值小可以得到较好的结果，但是，如果β过小，比如β=0.01，这个网络将不会收敛，最好的实验结果是β在0.05附近。
源域目标域的损失权重参数λ
从图4-２中，可以看出，当λ=0时，方法退化为只用源域的数据训练一个baseline，可以明显的看出，当考虑目标域的不变量属性学习时，即λ>0，本项工作的方法可以很大幅度提高baseline上的所有值，证明该方法的有效性。值得注意的是，当设置λ=1，模型相当于只使用未标记的目标数据，仍然大幅度提升baseline方法的结果。当λ在0.3到0.8范围内，可以取得相对较好的结果。
正样本的个数k
从图4-3中，当k=1时，该方法变为个体不变属性学习和相机不变属性，当k>1时，在这个系统中增加邻居不变属性，结果也得到了持续的提升。随着k的增加，rank-1准确率和mAP也得到提高，最好的结果是当k在6到8之间，过大的k会对结果产生负面的影响，因为在邻居不变属性学习中，过量的假正样本产生，会对最终的结果产生负面的影响。
所以设置β=0.05，λ=0.3，k=6。
4.2 模型评估
从表4-2中可以看出，Ours w/E代表在baseline的基础上增加了个体不变属性学习，在Market-1501和DukeMTMC-reID测试时，rank-1分别从43.1%增加到48.7%和28.9%增加到34.2%，证明了个体不变属性的有效性。Ours w/E+C代表增加了相机风格不变属性，当源域是DukeMTMC-reID，在Market-1501上测试，rank-1为63.1%，说明目标域的相机风格很大程度上影响识别结果。Ours w/E+N代表增加了邻居不变属性，当使用Market-1501作为源域并在DukeMTMC-reID测试，比Ours w/E的rank-1增加了5.5%，mAP增加了4.9%。当把三者融合时，可以取得更好的结果。
由表4-3上可以看出，记忆槽方法明显比mini-batch方法在时间和GPU存储开销优越。
由表4-4中黑体部分显示出该方法比最新的无监督行人重识别方法优越。另外，在另一个具有挑战性的数据集MSMT17数据集上评估了该方法，如表4-5所示，当使用DukeMTMC-reID作为源数据集合，比PTGAN放在在rank-1上高处18.4%，mAP上高出6.9%。
5.结论
在这项方法中，提出了记忆模块，通过记忆模块，可以评估目标样本间的关系，探究目标域中的不变属性，能够很大程度上改善行人重识别模型的迁移学习能力。