计算机视觉：窗口的形状和大小如何影响视差？

【问题标题】：Computer Vision: How the shape and the size of the window affect the disparity?计算机视觉：窗口的形状和大小如何影响视差？
【发布时间】：2017-06-29 19:43:14
【问题描述】：

我希望有人向我解释一下方形窗口和矩形窗口如何影响视差图的计算，这里我说的是固定大小。

我有两张从 SIR 拍摄的这个物体的图像（上面有随机点图案） enter image description here

我使用 4 x 16 窗口 (MSE = 0.1167)、16 x 4 窗口 (MSE = 0.1333) 和 8 x 8 窗口 (MSE = 0.1216) 计算了差异。（我不能放图片）。

我需要知道如何判断垂直或水平矩形窗口是否优于其兼容的方形窗口。 MSE 足够了吗？我还应该考虑图像的特征吗？

另外，如果有人指导我重建 3D 模型，我将不胜感激。

提前致谢。

【问题讨论】：

标签： computer-vision disparity-mapping

【解决方案1】：

窗口大小是一种权衡。

窗口越大，它们包含有用的纹理特征以提供良好的视差估计的机会就越高。如果它们很小，则更有可能包含无法提供有意义信息的平滑区域。

OTOH，窗口越大，包含深度不连续性的窗口就越多。这些是由于不同深度的多个对象而导致的图像边缘，其中视差导致一个图像包含被另一图像遮挡的像素，并使窗口包含多个视差值（在不同的子区域中）。这些是有趣的地方，但块匹配方法实际上失败了。如果您的窗口较小，则其中包含的混合深度会减少，从而提供更稳定的结果。

【讨论】：

很好的答案。这最终会影响重建 3D 模型的质量，对吧？
是的。块匹配非常适合平滑变化且没有深度不连续的表面。由于这些在现实世界中相当落后，因此需要其他技术来克服这些问题。