立体视觉 3D 重建：关于图像校正的说明

Question

鉴于一对来自校准相机的立体图像，通常需要应用校正。正如 Loop 和 Zhang (link) 在“Computing Rectifying Homographies for Stereo Vision”中所述：

一般情况下，核线不与坐标轴对齐，并且 不平行。这样的搜索非常耗时，因为我们必须 比较图像空间中倾斜线上的像素。这些类型的算法 如果核线为轴，则可以简化并提高效率 对齐和平行。这可以通过应用 2D 投影来实现 对每个图像进行变换或单应性。这个过程被称为 图像校正。对应于点特征的像素来自 校正后的图像对将位于同一水平扫描线上，并且 只是水平位移不同。

要进行 3D 重建，必须对图像运行匹配算法，以解决著名的对应问题。

匹配算法是应用于原始图像还是修正后的图像？ 事实上，校正引入的失真可能会导致模式识别失败，对吧？

如果可用，请分享任何参考。 谢谢。

Answer 1

大多数匹配算法（如 opencv 中使用的“半全局块匹配”）需要经过校正的立体图像对才能正常运行。 因此，匹配算法应用于校正后的图像。

校正的实际作用是扭曲图像，使两幅图像中的极线水平延伸。这意味着，两个图像中的对象在校正后都在一个垂直图像中。这种方式匹配算法只需要检查图像线而不是整个图像的相关性。

校正引入的“失真”通常只由几何和仿射图像变换组成。图像经过变换，对齐效果更好，匹配算法的模式识别在校正后表现更好。

更多信息的可能来源是“Hartley、Richard 和 Andrew Zisserman。计算机视觉中的多视图几何。剑桥大学出版社，2003 年。”