【问题标题】:single person tracking from video sequence来自视频序列的单人跟踪
【发布时间】:2012-02-02 15:04:45
【问题描述】:

作为我论文工作的一部分,我需要构建一个用于从视频或图像序列(如 KTH 或 IXMAS 数据集)中进行人类跟踪的程序,并假设:

  • 照度保持不变
  • 场景中只出现一个人

程序需要实时执行

我搜索了很多,但仍然找不到一个好的解决方案。

请给我推荐一个好的方法或合适的现有程序。

【问题讨论】:

  • 相机呢?是静态的吗? IXMAS 使用静态摄像机。另外您使用哪种语言? C、C++、Python?
  • @arkiaz:我更喜欢 C++。我只会处理静态相机,就像你说的 IXMAS :)

标签: image-processing opencv computer-vision tracking


【解决方案1】:

案例 1 - 如果相机静止

如果摄像头是静态的,那么追踪一个人真的很简单。

您可以应用一种称为背景减法的方法。

  1. 在这里,为了获得更好的效果,您需要来自相机的裸图像,其中没有人。它是背景。 (即使你没有这个背景图也可以。但如果有的话更好。我会告诉最后如果没有背景图怎么办)

  2. 现在开始从相机捕捉。拍摄第一帧,将两者都转换为灰度,平滑两个图像以避免噪声。

  3. 从帧中减去背景图像。

  4. 如果框架没有改变背景图像(即没有人),你会得到一个黑色的图像(当然会有一些噪音,我们可以去除它)。如果有变化,即人走进了画面,你会得到一张人物和背景为黑色的图像。

  5. 现在将图像阈值设置为合适的值。

  6. 应用一些侵蚀来消除小颗粒噪声。之后应用膨胀。

  7. 现在找到轮廓。很可能会有一个轮廓,即人。

  8. 找到质心或任何你想让这个人跟踪的东西。

现在假设您没有背景图片,您可以使用cvRunningAvg 函数找到它。它会从您用于跟踪的视频中找到运行平均帧数。但是你显然可以理解,如果你得到背景图片,第一种方法更好。

上述方法的Here is the implementation使用cvRunningAvg。

案例 2 - 相机不是静态的

这里的背景减法不会得到很好的结果,因为你不能得到一个固定的背景。

然后 OpenCV 附带了一个用于人员检测示例的示例。使用它。

这是文件:peopledetect.cpp

我还建议您访问这个处理几乎相同问题的 SOF:How can I detect and track people using OpenCV?

【讨论】:

  • 非常感谢您的好建议 :) 对于案例 1:所以这里的跟踪只是逐帧检测人体?如何获取检测到的人的速度和运动方向?我读过一些文章,他们通常使用卡尔曼滤波器(我不知道)进行跟踪。
  • 嗯,这是一个更大的话题。请把它作为一个单独的问题询问所有细节。在 SOF(stackoverflow) 中也讨论了很多次。提问前最好在 SOF 中搜索卡尔曼滤波器等。
  • peopledetect.cpp 不适用于闭路电视视频流,因为闭路电视通常放置在建筑物顶部,因此 peopledetect.cpp 的探测器由于人员位置而无法找到任何东西...
【解决方案2】:

一种可能的解决方案是使用特征点跟踪算法。 看看这本书: Laganiere Robert - OpenCV 2 计算机视觉应用程序编程食谱 - 2011 页。 266

本书已经使用opencv实现了完整的算法。

【讨论】:

    【解决方案3】:

    上述方法:一个简单的帧差分,然后是膨胀和腐蚀将起作用,如果一个简单的干净场景只有步行者的运动,而绝对没有其他运动或光照变化。此外,您每帧都进行检测,而不是跟踪。在这种特定情况下,跟踪也可能不会困难得多。运动方向和速度:你可以在不同的图像上运行 Lucas Kanade。

    在它的核心,您需要一个人检测器和一个跟踪器。跟踪器可以是基于点的(Lucas Kanade 或 Horn 和 Schunck),也可以使用卡尔曼滤波器或任何类型的边界框或 blob 跟踪。

    很多视力问题都是不适定的,一些结构/约束有助于更快地解决它。要问的问题很少是这样的:

    1. 相机是否移动:不太容易,是:更难,确切的工作取决于其他条件。
    2. 除了人之外,场景是否不变
    3. 人大部分时间是正面还是侧面:使用 viola jones 检测或训练一个(具有 Haar 或类似特征的 adaboost)来检测侧面。
    4. 您需要它的空间精确度,边界框是否可以做到,或者您是否需要轮廓:边界框:只需搜索(智能:))与 SAD(绝对差异之和)的邻域。轮廓:更严格,使用基于轮廓的跟踪器。
    5. 您需要“tracklet”还是只需要人在每一帧的位置,时间精度?
    6. 我们在这里讨论的是什么分辨率,因为您需要实时:
    7. 场景是像序列一样稀疏还是杂乱无章?
    8. 序列中还有其他动作吗?
    9. 离线还是在线?

    【讨论】:

      【解决方案4】:

      如果您使用 .NET 进行开发,您可以使用 Aforge.NET 框架。

      http://www.aforgenet.com/

      我是论坛的常客,我似乎记得有很多人使用它来跟踪人员。

      我还将该框架用于其他不相关的目的,可以说我强烈推荐它,因为它易于使用且功能强大。

      【讨论】:

      • 是的,aforge.net 非常有帮助。我以前用过一次,但对于我的论文,我需要使用 opencv/C++
      • 奇怪的是,这个库自 2013 年以来就没有更新,我还没有找到如何使用它来跟踪人员
      猜你喜欢
      • 2015-10-12
      • 1970-01-01
      • 2014-06-15
      • 1970-01-01
      • 2015-03-17
      • 2014-11-04
      • 1970-01-01
      • 2017-04-27
      • 1970-01-01
      相关资源
      最近更新 更多