使用 openCV 进行自然特征跟踪 - 评估选项答案

【问题标题】：Natural feature tracking with openCV- evaluating the options使用 openCV 进行自然特征跟踪 - 评估选项
【发布时间】：2011-08-22 08:29:18
【问题描述】：

简而言之，使用 OpenCv 在网络摄像头提要中实现对特定图像（照片/图形/徽标）的跟踪有哪些可用选项？特别是我正在尝试整理关于以下方面的意见：

我是 OpenCV 的相对初学者，这从我之前对 SO 的查询中可以看出（非常有用的回复）。有什么线索或链接可以说明使用 OpenCV 开始 NFT 实施的好资源吗？

【问题讨论】：

【解决方案1】：

您能多谈谈您的要求吗？即，您期望哪种类型的外观变化/您对环境的控制程度。您在速度/功率/资源占用方面有哪些类型的限制？

没有这些，我只能对你所说的 3 条路径做一些一般性的评估。

1。 Haar 会运行良好且快速，尤其是在识别方面。

请注意，除非您使用各种模板进行训练以涵盖各种视角，否则 Haar 不能很好地用于 3D。 Haar cascades 的典型应用是 Viola Jones 的人脸检测系统，它主要面向正面（当然可以针对许多其他事情进行训练）

有关使用 OpenCV 进行 Haar 训练的教程，请参阅 here。

2。尝试 NCC 或更好的模板，Lucas Kanade 跟踪（cvCalcOpticalFlowPyrLK，它是一个金字塔，如从粗到细的 LK - 4 级金字塔通常效果很好）。通常可以在不更改模板的情况下进行高达 10% 的缩放或 10 度旋转。除此之外，您还可以拥有随时间推移而自动演变的模板。

如需快速光流/跟踪教程，请参阅this。

3。 SIFT/SURF 确实会很好用。我建议一些额外的几何验证步骤来消除虚假匹配。

我有点担心所涉及的计算时间。如果没有明显的照明/比例/平面内旋转，那么 SIFT 可能是矫枉过正。如果你真的需要它，请查看 Changchang Wu 的优秀 SIFTGPU implmentation。注意：第 3 方，不是 OpenCV。

【讨论】：

外观在旋转、照明方面通常会有所不同。 Reg HAAR-通过 Viola Jones 检测器方法，试用了 OpenCV 捆绑样本。让我望而却步的是培训所需的时间——我在 2GB 台式机/笔记本电脑上工作，人们认为即使经过几天和几天的培训，它仍然不够强大。我肯定会通过光流教程。感谢整个回复中的有用链接。
不客气。同意 Haar 的培训时间很长。好处是运行时性能可以很好。我个人偏爱方法2。方法 3 更适用于 PhotoTourism 等不受约束的场景。

【解决方案2】：

似乎没有任何一种方法单独应用可以带来可靠的结果，除非它是一个爱好项目。可能一些自适应算法或多或少可以接受。例如，看看他们使用机器学习的著名opensource project。

【讨论】：

是的，我从我的大量试验和其他来源中收集到了这一点——没有一种方法可以处理因场景而异的所有事情。您能否向我指出一些将机器学习与 openCV 集成的资源 - 我是一个相对初学者。
我也尝试过 opencv 跟踪方法，我将深入研究更复杂的东西，并从学习提到的技术开始。除此之外，我还没有什么可建议的。在将机器学习与 OpenCV 集成时，一个好消息是 OpenCV 已经包含 ml 模块