【问题标题】:Tracking in video sequence with user-defined target to track使用用户定义的目标跟踪视频序列
【发布时间】:2014-06-15 23:27:38
【问题描述】:

我有一个项目来创建一个应用程序,用户可以在其中绘制感兴趣的区域(在此示例中,要跟踪的车辆周围的矩形),它会在录制的视频的后续帧中自动跟踪车辆。

我目前使用OpenCV实现的方法如下:

(1) 从initial_frame获取用户定义的矩形(Region of interest)

(2) 在感兴趣的区域上使用goodFeaturesToTrack并存储initial_features

(3) 遍历视频中的下一帧 3.1:获取next_frame 3.2:调用calcOpticalFlowPyrLK(prevImg, nextImg, prevPts, nextPts,...) *其中prevImg 始终为initial_frame,prevPts 始终为initial_featues 并且每次我只用下一帧视频更新nextImg 3.3:从nextPts 获取新发现的特征的边界矩形 3.4:显示带有边界矩形的框架

此方法在 50 个连续帧中的大部分都有效,除了少数几次跟踪结果如下:

但超过 50 帧,结果变得越来越不准确:

在原始图像中发现的特征在随后的帧中变得越来越不普遍是有道理的,因此我正在寻找有关如何改进这种跟踪方法的想法,或者可能完全找到更好的方法。

出现的一种方法是使用卡尔曼滤波器,但是我不知道要使用哪些参数进行测量和动态参数,以及如何根据光流中的特征更新测量值。 对于此类应用程序中的对象跟踪,我愿意接受任何建议甚至完全不同的方法。

*注意:这个函数是我用来获取从光流返回的特征数组的边界矩形(我在这里使用 EMGUCV):

    public Rectangle RectFromPoints(List<PointF> points)
    {
        using (MemStorage stor = new MemStorage())
        {
            Contour<PointF> contour = new Contour<PointF>(stor);

           // Remove points far outside the major grouping of all the other points
            var newPoints = RemoveOutlierPoints(points); 

            foreach(PointF pnt in newPoints)
            {
                contour.Push(pnt);
            }
            var contPoly = contour.ApproxPoly(3, stor);

            var rect = contPoly.BoundingRectangle;
            return rect;
        }
    }

【问题讨论】:

  • 您可以更新特征列表,以便逐帧跟踪,但是如果您不能确定跟踪是否成功,这会使退化更加严重。我建议使用粒子过滤器,如perso.telecom-paristech.fr/~bloch/P6Image/articles/… 或youtube.com/watch?v=O1FZyWz_yj4 中所示
  • 只是另一个建议,永远不要在移动的相机上使用光流!它适用于相机静止且物体移动时的应用
  • @KhawarAli 有趣...当要跟踪的对象和相机都在移动时,您有什么建议吗?
  • 你检查过 OpenTLD 吗?

标签: opencv computer-vision feature-detection


【解决方案1】:

OpenCV 3.0 contrib 有几个可用的跟踪器(TLD、MEDIAFLOW、BOOSTING 和 MIL)。您也可以找到 CPP 示例。 VOTchallenge 页面上提供了最先进跟踪器的性能比较状态。

【讨论】:

    【解决方案2】:

    美好的一天。 你有一个漂移问题。 您第一次使用的功能仅适用于对象。 但是随着新框架更新旧模板,图像中包含的背景杂波的一部分作为新模板。您需要使用类似的模板更新您的模板,并且有诸如 BMR-adjustment 之类的算法。

    【讨论】:

      【解决方案3】:

      尝试使用相关性跟踪器。现代的还不错,例如:https://www.youtube.com/watch?v=-8-KCoOFfqs。您也可以在dlib 中获取此代码。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2012-11-17
        • 1970-01-01
        • 2015-10-28
        • 1970-01-01
        • 2017-04-04
        • 1970-01-01
        • 2013-10-12
        相关资源
        最近更新 更多