密集光流精度答案

【问题标题】：accuracy of dense optical flow密集光流精度
【发布时间】：2016-08-19 07:22:36
【问题描述】：

目前我正在自己学习密集光流。为了理解它，我进行了一项实验。我使用 Matlab 制作了一张图像。一个具有给定灰度值的框被放置在一个统一的背景下，并且该框在另一幅图像中的 x 和 y 方向上平移了两个像素。这两个图像被输入到称为 TV-L1 的算法的实现中。生成的框外运动向量不为零。盒子外面的梯度是零的原因吗？这些值是从梯度值大的值中填充的吗？在 Horn 和 Schunck 的论文中，它写道

在图像中亮度梯度为零的部分，速度估计将只是相邻速度估计的平均值。那里是没有局部信息来约束运动的表观速度这些区域的亮度模式。

这种填充现象的进展类似于传播效果在均匀平板的热方程的解中，其中温度的时间变化率与拉普拉斯算子成正比。

对于具有小梯度的像素，是否无法获得正确的运动矢量？或者实验不实用。在实际应用中，这不会发生。

【问题讨论】：

标签： image-processing motion opticalflow

【解决方案1】：

是的，在具有非常小的梯度的所谓同质图像区域中，不存在可以从中得出运动的信息。这就是为什么矩形的运动会传播到边界之外的原因。如果你给你的背景一个纹理，这个效果将不那么重要。在估计汽车的自我运动时，我知道这样的问题。那么这里的同质化造成了很多问题。

【讨论】：

从您的网页中，您对光流有很多研究经验。我们知道光流计算是一项计算密集型任务。 OF 是一个热门的研究课题。每年关于 OF 的论文都可以在 CVPR、Siggraph 和 ICCV/ECCV 上找到。有使用OF计算的实际应用吗？
Michael J. Black 有一段很好的视频，他在 OF 做了一些开创性的工作。 youtube.com/watch?v=tIwpDuqJqcE 例如，他在几部电影（例如 Matrix）中将 OF 用于动画。如果要分析视频运动是一个重要的属性。例如。请参阅操作分类 (lear.inrialpes.fr/people/wang/improved_trajectories)。我使用密集的光流场对暴力视频内容进行分类。我知道一些适用于 OF 的医学计算机视觉。
OF 是分析帧间运动的强大工具。您提到的应用程序不需要实时响应。我能否得出结论，OF 对于实时应用来说不是一个不错的选择。分层块匹配可能更合适。我有另一个问题。有什么好的方法可以解决遮挡问题吗？我发现遮挡会扭曲运动场。

【解决方案2】：

该领域的两位先驱 Lukas&Kanade (LK) 和 Horn&Schunch (HS) 开发了计算光流 (OF) 的方法。两者都依赖于亮度恒定性假设，即两个序列帧之间的特征位置像素值不会改变。该约束可以表示为两个方程：I(x+dx,y+dy,t+dt)=I(x,y,t) 和∂I/∂x dx+∂I/∂y dy+∂I/∂t dt=0 通过使用泰勒级数展开 I(x+dx,y+dy,t+dt) ，我们得到 (x+dx,y+dy,t+dt)=I(x,y,t)+∂ I/∂x dx+∂I/∂y dy+∂I/∂t dt... 让∂x/∂t=u 和∂y/∂t=v 结合这些方程，我们得到OF约束方程：∂I/∂t =∂I/∂t u+∂I/∂t v 。 OF 方程有不止一种解，因此不同的技术在这里有所不同。 LK 方程的推导假设每个跟踪特征的邻域中的像素以与特征相同的速度移动。在 OpenCV 中，以小窗口大小捕捉大运动（以保持“相同的局部速度”假设）。

【讨论】：