Martin大神在CVPR2020的又一跟踪作,快来欣赏:

将目标跟踪视为每一帧的目标回归问题:

     1、使用DCFSiamese等进行粗略定位,其对于目标背景、杂波和遮挡具有一定鲁棒性Target Center Regression

     2、使用单独的网络分支,用于回归目标框Bounding Box Regression

发现问题:

1、大多数跟踪方法关注于目标框中心坐标(即定义为目标的质心)的回归。图中,由于目标外观的微小变化,导致GT框的中心位置发生严重偏移,故而目标中心回归是一项艰巨任务。

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

2、对GT边界框未进行准确标注,而在训练网络时,标注的这种分歧变化会被忽略。多个注释者对给定对象的注释有所差异,尤其出现运动模糊、遮挡、小目标等情况下尤为明显,所以准确的bbox标签也是一项艰巨任务。

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

提出方法:

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

对输入的图像CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking,预测其目标状态CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking的条件概率密度CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking,通过最小化GT标签分布KL散度训练回归网络;同时还对噪声标签和产生歧义的部分进行建模,并利用近似积分最小化KL散度。

回归问题:

对于映射函数CVPR2020目标跟踪论文:Probabilistic Regression for Visual TrackingCVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking为图像所在空间,CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking为连续空间,并给定样本对CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking求得映射函数。

1)直接回归法

定义损失函数CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking,直接计算:CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

特点:虽在光流法、深度估计等小有成就。但在目标检测与跟踪、人体姿态估计不太适用

2)置信度预测回归法

定义置信度回归函数CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking,同时对每一个CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking,定义一个gt置信度值的伪标签函数CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking,其中 CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

定义损失函数CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking,其中CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking。则最终的映射函数为CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

特点以预测的置信度值CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking编码,能够灵活的表示不确定性。.CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking很大程度取决于Loss的选择与生成训练的伪标签,本身没有明确的解释,只能充当最大化的量。而且对于伪标签CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking,通过具有更宽的高置信度峰来封装问题1中出现的情况。

置信度预测回归相比直接回归的优点:

1,在CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking空间中,前者更能捕获到不确定性、多假设与歧义的存在。

2、前者更能轻松利用CVPR2020目标跟踪论文:Probabilistic Regression for Visual TrackingCVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking空间共享的对称性,e.g平移不变性。

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

Loss的计算

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

在本文中,作者计算GT分布CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking与预测的条件概率密度CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking之间的KL散度:

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

对于公式(8),作者提出了两种方法来近似:

1)网格采样

通过评估CNNy处的输出得到CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking(平移不变性),其中,CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking是一个CNN网络。

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking为作用在CNN网络CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking网格位置的一组集合。CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking为单个网格单元的面积。最终的Loss是所有CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking的平均值。

特点:该方法不能很好的缩放到更高的维度,而且刚性网格会引起采样偏差

2)蒙特卡洛积分

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

其中,CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking是从伪标签中提取的样本,CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking是覆盖CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking与 CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking的区域。

特点:需要对网络CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking进行多次评估。

回归训练

1TCR目标中心回归:

由于网络为全卷积,故采用网格采样近似CVPR2020目标跟踪论文:Probabilistic Regression for Visual TrackingCVPR2020目标跟踪论文:Probabilistic Regression for Visual TrackingKL散度。

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

简单地,设CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking,得到

CVPR2020目标跟踪论文:Probabilistic Regression for Visual TrackingCVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

定义LossCVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

DiMP推导不同,作者在最速下降公式中,用二次牛顿法代替高斯牛顿法:

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

其中,CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

由链式法则可得:CVPR2020目标跟踪论文:Probabilistic Regression for Visual TrackingCVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

那么公式(17b)的分母可以表示为:

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

2BBR目标框回归:

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking进行积分以建立bbox标签中的噪声和不确定模型,利用蒙特卡洛积分最小化KL散度文献18表明,以annoCVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking为中心的简单高斯混合可以有效地进行bbox回归

回归方法比较

L2:使用DiMPBBR的标准平方损失

R-L2:使用DiMPTCRCVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking损失CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

NLL:最小化CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking的负对数似然函数

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

标签不确定性分析

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

结论CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking过高 (即标签过于不确定)会影响输出,过低则会使输出达到次优点。故正确建模标签不确定性对视觉跟踪非常重要。

不同算法结果比较

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

CVPR2020目标跟踪论文:Probabilistic Regression for Visual Tracking

 

相关文章:

  • 2021-11-03
  • 2021-06-08
  • 2021-08-12
  • 2022-01-21
  • 2021-08-10
  • 2021-12-28
  • 2021-11-11
  • 2021-04-06
猜你喜欢
  • 2021-11-29
  • 2021-06-03
  • 2021-11-07
  • 2021-04-17
  • 2021-07-01
  • 2021-08-13
  • 2021-08-22
相关资源
相似解决方案