行人跟踪POI论文理解

行人跟踪POI论文中Online tracker方法理解

论文POI: Multiple Object Tracking with High Performance Detection and Appearance Feature提出的Online tracker和offline tracker两种方法在2016 MOT数据集上实现了较好的性能，本博客学习了Online tracker方法。

Online tracker方法：高性能的行人检测+提取外观特征进行匹配追踪
行人追踪可以分为2部分：
（1）行人检测：该部分使用faster-rcnn检测行人，得到行人的检测框boxes
（2）追踪：过程如下图

1. 用GoogleNet对行人区域提取特征appearance features，训练该模型的loss有两部分，softmax loss（保证特征的可区分性）和triplet loss（保证同一个人的appearance features 之间的相似度高）
2. 计算检测到的区域detection与跟踪集tracklets里的行人之间的密切程度，即affinity。它可以分为3个部分：appearance affinity，motion affinity，shape affinity：
   
   因此，可以得到密切度矩阵：
   
3. 对tracklets中的每一个track计算它的追踪质量指标，通过阈值τt${\tau }_t$，将跟踪集Tt−1$T^{t-1}$分为高质量跟踪集Tt−1high$T_{high}^{t-1}$和低质量跟踪集Tt−1low$T_{low}^{t-1}$。
   下面是计算track的跟踪质量的公式，不能理解！！！
   
4. 通过Kuhn-Munkres算法找D与T之间的最优匹配。通过阈值τa${\tau }_a$,判断是否匹配成功。先匹配Tt−1high$T_{high}^{t-1}$和D,再匹配
   (Tt−1high−Tt−1success)∪Tt−1low$\left(T_{high}^{t-1}-T_{success}^{t-1}\right)\cup T_{low}^{t-1}$和D−Dsuccess$D-D_{success}$。得到(Tt−1successi,Dtsuccessi),Tt−1fail,Dtfail$\left(T_{succes{s}_i}^{t-1},D_{succes{s}_i}^t\right),T_{fail}^{t-1},D_{fail}^t$。
5. 更新跟踪集tracklets。更新可以分为3部分：
   Tt1=Average(Tt−1successi,Dtsuccessi)$T_1^t=Average(T_{succes{s}_i}^{t-1},D_{succes{s}_i}^t)$，就是匹配成功的detections；
   Tt2=PredictOrRemove(Tt−1fail,τm)$T_2^t=Predic{t}_O{r}_{R}emove(T_{fail}^{t-1},{\tau }_m)$，若连续τm${\tau }_m$帧，tracklets中的track都没有与D匹配上，就可以删掉；
   Tt3=Initialize(Dtfail)$T_3^t=Initialize(D_{fail}^t)$，就是新出现的行人；
   因此，Ttcandidate=Tt1∪Tt2∪Tt3$T_{candidate}^t=T_1^t\cup T_2^t\cup T_3^t$