问题的提出：
当前绝大多数MOT都是遵循 Tracking-By-Detection 方式，该方式将检测作为输入，关联检测结果作为最终轨迹输出。然而，检测不总是足够精准的，这可能会影响跟踪。此外，遮挡和形变也是MOT中的两个重要问题。
图1 .( a ) False negative(FN): 检测器没有检测到遮挡的目标，但是SOT可以找到目标来辅助完善检测器。( b ) Occlusion：在发生遮挡时，更新后的外观出错，并且SOT此时会容易漂移。相反，tracklet的总体外观仍然稳定且关联更可靠。( c ) Switcher helps matching: 如果没有switcher，则当分类器知道switcher的遮挡情况和外观信息时，正确对的匹配置信度就很低，而匹配分数却更高。
为了解决以上问题，本文在MOT中定义了两个不同的线索。
短期线索是指相邻帧之间的更新线索，包括当前目标的位置，外观和运动。
长期线索代表tracklet-long线索，包含了轨迹内对象的外观特征。 最新的高性能单目标跟踪（SOT）方法可用于MOT中以捕获短期线索，这对于处理不准确的检测结果和异常运动很有帮助。
如图1（a）所示，SOT跟踪器可有效减少漏检（FN）。 尽管在许多情况下短期线索会有所帮助，但是当发生遮挡时，大多数短期线索变得不可靠，因为包含遮挡区域会使SOT跟踪器漂移。 然后，tracklet外观的长期线索可以帮助避免因遮挡而导致SOT漂移。 对于图1（b）所示的示例，当发生遮挡时，长期线索仍保持稳定。
那么提出这些方法的动机是？
以前的工作没有充分利用这两个线索。
许多像[42]这样的工作在MOT中包含SOT跟踪器，并没有考虑将SOT结果结合到数据关联中，
像[30]这样的某些工作并未使用SOT跟踪器来处理短期线索。
诸如[39]之类的其他基于规则的长期和短期线索组合无法从具有不同情况的数据中学习，并且可能过度拟合某些特定情况。 这也是学习短期和长期线索有效结合的一个问题。
在作者的实验中，他们已经观察到很难将所有线索组合到一个网络中。 也就是说，用于短期线索的SOT跟踪器无法区分相似的对象，而用于长期线索的网络无法预测目标的精确位置。 基于这种动机，作者提出了一个统一的MOT框架来生成短期和长期线索，并自适应地选择它们进行数据关联。
本文的另一个动机是使用本地交互信息来解决id-switches问题。 我们发现潜在的身份切换原因（switcher）对于正确匹配至关重要。 例如，图1（c）显示了switcher如何帮助匹配。 在这种动机的驱使下，我们使用Switcher-Aware Classification（通过增强决策树实现）来对潜在的switcher信息进行编码并提高跟踪的鲁棒性。
总而言之
该文提出了具有多种线索和Switcher-Aware Classification（SAC）的MOT方法。 SOT的最新方法用于捕获短期线索，而重新识别（ReID）方法则用于提取长期线索。 在数据关联期间，SAC会收集所有长期和短期线索，并考虑潜在的切换器，然后生成分数以构建用于匹配的二部图。
该文的工作的主要贡献如下：
- 设计了一个有效的MOT框架，可以学习捕获长期和短期线索并做出自适应决策以进行可靠跟踪。
- 设计了数据关联中的切换器感知分类（SAC），用于提高MOT对身份切换的鲁棒性。 还介绍了一种简单但有效的方法来搜索潜在的切换者。
在MOT16和MOT17基准测试上的大量实验结果清楚地表明了所提出框架的有效性。
Related Work(直接翻译原文)
MOT Using SOT Tracker
先前的一些工作[42，10，37，38]曾尝试将SOT跟踪器应用于MOT任务。
Chu等[10]使用基于CNN的单个对象跟踪器并通过时空注意力机制处理漂移，它将所有检测结果视为SOT proposals。
Xiang等。 [37]利用MDP方法以光流跟踪处于跟踪状态的目标。
大多数工作从未从视觉对象跟踪（VOT）任务的进度中受益。近年来，在单个物体跟踪领域已经取得了重大进展。诸如GOTURN [14]，Siamese-FC [4]，ECO [11]，Siamese RPN [22]之类的跟踪器大大提高了跟踪精度。
[42]提出的方法将ECO-HC [11]跟踪器直接应用于具有cost-sensitive loss的视觉对象跟踪任务，并设计了一个时空网络用于数据关联（当SOT跟踪器被认为失去了目标时）。但是，在线更新的SOT跟踪器速度较慢，并且占用大量内存。像Siamese-RPN [22]这样的离线训练siamese SOT跟踪器可以达到每秒80帧（目标）以上的高速精度。更重要的是，大多数方法都没有将SOT跟踪器生成的线索与其他线索结合在一起。他们将SOT跟踪器和数据关联过程分开。
与这些工作不同，我们将来自SOT的信息与轨迹的长期线索结合起来，用于学习将检测/跟踪结果关联起来。我们长期使用的线索有助于解决SOT中的漂移问题，而现有的MOT方法中的SOT无法有效解决这些问题。
Data Association
数据关联是所有Tracking-by-Detection的MOT方法的重要过程。 [41,33,34,35,29]将数据关联过程表述为各种优化问题。它们大多数是图分割问题的变体，需要批处理。大多数在线处理方法使用匈牙利算法[28]或minimum-cost-network-flow来解决二部图匹配问题，并且很有效。
[32、30、27、16、1、2]等一些工作强调要提升特征在数据关联中的使用。[30,27,19]在MOT任务中利用RNN。 Sadeghian等[30]将外观，动作和交互线索结合到一个统一的RNN网络中。 Milanetal [27] 专注于对目标位置和运动的利用。 Son等[32]开发了一种新的训练方法，具有ranking损失和回归损失以获得更高的准确性。
但是，这些方法的缺点是众所周知的。首先，他们没有使用SOT跟踪器来处理准确的检测结果，尤其是false negatives。其次，尽管他们尝试了许多区分性特征，但很少将本地位置和交互信息带入训练或推理阶段。 Sadeghian等。 [30]使用来自邻近身份的空间信息。但是他们不使用SOT跟踪器或switcher的外观信息。一些工作，例如[24，39]集成整体外观特征、位置以及运动特征。他们使用这些信息的设计基于启发式规则，而不是基于原理学习。**这些工作大多数都只是将数据关联视为单个轨迹和检测之间的成对匹配问题。显然，我们将丢失有价值的本地交互信息，而这些信息可能表示了一些严重错误。**尽管这些错误不会对目标召回率或精度造成巨大的不利影响，例如，对于主要指标MOTA [3]而言并非不利，但它们以某种方式影响了跟踪系统的鲁棒性，并对其应用具有重要意义。在这项工作中，我们介绍了用于鲁棒跟踪的SAC，它将尽可能多的swither用于训练和推理。并且我们以平衡和数据驱动的方式结合了短期线索和长期线索。
提出的框架
总体设计（Overall Design）