如何使用视频对物体进行运动跟踪？ [关闭]答案

【问题标题】：How to do motion tracking of an object using video? [closed]如何使用视频对物体进行运动跟踪？ [关闭]
【发布时间】：2011-06-09 18:36:33
【问题描述】：

有人可以指导我学习教程或指导我如何跟踪以 6 DOF 移动的物体的运动。我打算使用移动玩具车的视频流。我想计算玩具车的位移和旋转角度。我遇到了一些研究论文，但找不到任何适合这项工作的库。

有没有办法使用 OpenCV 或 Matlab 或其他一些免费提供的软件来做到这一点？

谢谢

【问题讨论】：

可能是神经网络（我完全不确定）...
我希望有一种更简单的方法 (:D) 可能是使用边缘、角落和表面特征
那么我猜模式匹配看起来是唯一的选择。在这种情况下祝你好运;)
这是一个您要解决的难题。
@Utkrash 这是我最后一年研究的一部分。我的项目与免费视点视频有关。该项目非常依赖于此。我必须完成这件事。我计划研究这里提出的方法。这就是为什么我还没有接受任何。如果我成功了，我肯定会发布我的解决方案

标签： matlab opencv computer-vision video-processing

【解决方案1】：

看看TLD（显然是Matlab）：

TLD 是一种屡获殊荣的实时算法，用于跟踪视频流中的未知对象。感兴趣的对象由单个帧中的边界框定义。 TLD 同时跟踪对象，了解它的外观并在它出现在视频中时检测它。结果是实时跟踪通常会随着时间的推移而改进。

没有亲自使用过，但是演示视频很棒。

【讨论】：

【解决方案2】：

跟踪是一个经典的计算机视觉问题，计算机科学仍致力于研究它；您可以通过查看CVPR 2010（这是一年一度的顶级计算机视觉会议）中的accepted papers 列表来快速了解该领域的最新技术，您会发现仍有活跃的正在发表的关于该主题的作品（在列表中搜索“跟踪”一词）。

跟踪问题解决方案的标准处理流程如下：首先解析图像以提取有意义的描述符，从而捕获图像的相关角点和其他显着特征。这些描述符随后被馈送到一个在线分类器，该分类器经过训练可以在每一帧中检测您感兴趣的特定对象的可能实例。您的对象的描述符可能是从先前的对象外观示例中先验地知道的（即离线计算），但它通常在每一帧中根据系统随时间看到的内容进行更新，以使检测自适应到动态对象外观。最后，为了从每一帧（从检测到的那些）中的可能候选池中进行选择，对象的位置和速度等参数使用顺序相对于先前帧估计统计模型。

有大量关于良好图像描述符的计算机视觉文献，但其中一些最受欢迎的是SIFT、SURF 或HOG。对于分类，最成功的两种方法是support vector machines或classification ensembles（例如boosting或random forests），而对于估计部分，大多数人仍然使用Kalman filters（这是一种顺序的@987654331 @)、particle filters 或更一般的density estimation models。

您描述的具体情况比自然户外场景中任意相机和对象运动的更一般和更困难的对象跟踪问题要容易一些，因此您可能能够在网上找到一些可以立即在您的设置，但我对此表示怀疑。正如其他人指出的那样（据我所知），没有现成的 库可以立即适用于各种对象、背景和运动空间。也就是说，您可能可以在线找到我上面描述的标准通用管道的各个组件（分类器、过滤器/特征库、马尔可夫估计模型）的代码。

我的建议是，如果你有兴趣构建一个好的系统（即真正有效的系统），那么请查看顶级年度计算机视觉会议上最新论文作者的网站，例如CVPR、@ 987654335@、ECCV 和 SIGGRAPH。他们倾向于将最近工作的代码与一些视频示例放在一起，这可能有助于您了解他们的方法在真实环境中的工作原理。

【讨论】：

【解决方案3】：

如果你想尝试一些现成的代码，OpenCV 附带了一个示例文件。在 OpenCV 2.1 中，它位于 samples/c/blobtrack.cpp 中，而在 OpenCV 2.2 中，它位于 samples/c/blobtrack_sample.cpp 中。两者都带有 .exe 文件，因此您可以立即试用这些示例，以防您碰巧使用 Windows。有一个旧网站The OpenCV Video Surveillance / Blob Tracker Facility，记录了代码的工作原理。

blobtrack.cpp中的tracker分为三个阶段（抄自上一个链接）：