【发布时间】:2014-06-15 23:27:38
【问题描述】:
我有一个项目来创建一个应用程序,用户可以在其中绘制感兴趣的区域(在此示例中,要跟踪的车辆周围的矩形),它会在录制的视频的后续帧中自动跟踪车辆。
我目前使用OpenCV实现的方法如下:
(1) 从
initial_frame获取用户定义的矩形(Region of interest)(2) 在感兴趣的区域上使用
goodFeaturesToTrack并存储initial_features(3) 遍历视频中的下一帧
3.1:获取next_frame3.2:调用calcOpticalFlowPyrLK(prevImg, nextImg, prevPts, nextPts,...)*其中prevImg始终为initial_frame,prevPts始终为initial_featues并且每次我只用下一帧视频更新nextImg3.3:从nextPts获取新发现的特征的边界矩形3.4:显示带有边界矩形的框架
此方法在 50 个连续帧中的大部分都有效,除了少数几次跟踪结果如下:
但超过 50 帧,结果变得越来越不准确:
在原始图像中发现的特征在随后的帧中变得越来越不普遍是有道理的,因此我正在寻找有关如何改进这种跟踪方法的想法,或者可能完全找到更好的方法。
出现的一种方法是使用卡尔曼滤波器,但是我不知道要使用哪些参数进行测量和动态参数,以及如何根据光流中的特征更新测量值。 对于此类应用程序中的对象跟踪,我愿意接受任何建议甚至完全不同的方法。
*注意:这个函数是我用来获取从光流返回的特征数组的边界矩形(我在这里使用 EMGUCV):
public Rectangle RectFromPoints(List<PointF> points)
{
using (MemStorage stor = new MemStorage())
{
Contour<PointF> contour = new Contour<PointF>(stor);
// Remove points far outside the major grouping of all the other points
var newPoints = RemoveOutlierPoints(points);
foreach(PointF pnt in newPoints)
{
contour.Push(pnt);
}
var contPoly = contour.ApproxPoly(3, stor);
var rect = contPoly.BoundingRectangle;
return rect;
}
}
【问题讨论】:
-
您可以更新特征列表,以便逐帧跟踪,但是如果您不能确定跟踪是否成功,这会使退化更加严重。我建议使用粒子过滤器,如perso.telecom-paristech.fr/~bloch/P6Image/articles/… 或youtube.com/watch?v=O1FZyWz_yj4 中所示
-
只是另一个建议,永远不要在移动的相机上使用光流!它适用于相机静止且物体移动时的应用
-
@KhawarAli 有趣...当要跟踪的对象和相机都在移动时,您有什么建议吗?
-
你检查过 OpenTLD 吗?
标签: opencv computer-vision feature-detection