多任务学习“Exploiting Multi-Grain Ranking Constraints for Precisely Searching Visually-similar Vehicles”

multi-grain ranking约束用于车辆精确检索。其中一个是Generalized Pairwise Ranking(GPR)，将二值的相似/不相似关系泛化到广义的多层关系，（0/1）到（0/1/2/3…n）。另外一个是Multi-Grain based List Ranking(MGLR)，使用一组具有多层关系的图像训练，ranking对应多次关系，使用组合概率对multi-grain list打分，并使用似然损失函数优化ranking。构建了两个大的车辆数据库，VD1和VD2，分别包含100万张和80万张图片。

除了车辆品牌型号、颜色，车辆的ID也是一个重要的属性，可以用它来训练网络（ID训练不是第一次被使用吧）。作者将车辆图像间的关系分成多级，第一级是同一辆车，第二级不是同一辆车、但具有相同的品牌型号颜色，第三级具有相同的品牌型号、但颜色不同，第四级所有属性均不同。

相关研究
相似度约束，Siamese网络输入为相似和不相似的图像对，并用两个分支最小化成对contrastive 损失。这种方法也常用于人脸验证、行人Re-ID。Deep-ID2联合优化分类和验证损失。也有用Triple 损失用于人类识别、形容Re-ID。

多层关系
多层标记，多层列表(a,R1,R2,....,Rn)，多层排序问题的距离约束为：

三元损失和四元损失是特殊情况。但这种强距离约束优化比较困难，论文提出了GPR和MGLR。
1. GPR
输入图像组织为MGL，参考图像的特征与锚图像特征融合，使用softmax分类器估计每对输入图像处在相似的哪一级。GRP的损失函数为：

其中p(i,k)代表第i对图像在k级的grain估计，g(i)是真值。除了GPR损失，多属性分类也引入网络进行多任务学习，这里有三个属性，即ID、品牌型号、颜色，损失函数为：

网络结构为：

2. MGLR
list-wise Ranking problem。提取所有图像特征后，参考图像和锚图像相似度计算：

定义参考图像的组合π=<π(1),π(2),...,π(N)>，π(i)表示第i级的参考图像，所有可能组合总数为N!。不同的组合具有不同的似然值，使用似然概率计算：

sπ(j)表示相似度，ϕ()是一个正增函数，只有当组合呈下降的排序时组合概率为最大似然之。这样就需要学习更好的特征，是的组合更接近真值。使用listMLE，将真值组合的负log估计作为损失函数：

网络结构为：

实验结果
将ID作为主要属性，品牌型号和颜色也加入做多任务训练，在VehicleID上做ID分类：

MGCR
使用GoogleNet进行多属性训练，得到初始权值，ranking-学习在此基础上微调，对GPR，特征融合的方式是串联。