使用立体视觉进行 3D 重建 - 理论

Question

我目前正在阅读立体视觉的主题，使用 Hartley&Zimmerman 的书和一些论文，因为我正在尝试开发一种能够从两个图像创建高程图的算法。

我正在尝试提出这种算法的基本步骤。这是我认为我必须做的：

如果我有两个图像，我必须以某种方式找到基本矩阵 F，以便稍后从三角测量中找到所有点的实际高程值。如果相机经过校准，这很简单，如果没有，它会稍微复杂一些（在 H&Z 中可以找到很多方法）。

为了得到核线，必须知道 F。这些是用于在第二个图像中找到第一个图像中的图像点 x 的线。

现在是让我有点困惑的部分： 现在我将开始拍摄第一张图片中的图像点x_i，并尝试使用一些匹配算法在第二张图片中找到对应的点x_i’。使用三角测量现在可以计算现实世界中的点 X 并由此计算它的高程。将针对右图像中的每个像素重复此过程。

在完美世界中（无噪音等）三角测量将基于

x1=P1X x2=P2X

在现实世界中，有必要找到最合适的。

对所有像素执行此操作将生成所需的完整高程图，但某些像素将无法匹配，因此无法进行三角测量。

最让我困惑的是，我觉得 Hartley 和 Zimmerman 跳过了关于如何获得你的点对应（匹配？）的整个讨论，而且我阅读的除了这本书之外的论文很多关于视差图的讨论。 H&Z 中根本没有提到。但是我想我理解正确，差异只是x1_i- x2_i的差异？

这种方法是否正确，如果不正确，我在哪里犯了错误？

Answer 1

您的方法总体上是正确的。

您可以将立体相机系统视为空间中已知相对方向的两个点。这是光学中心。在每个光学中心的前面，都有一个坐标系。这些是图像平面。当你找到两个对应的像素时，你可以为每个像素计算一条线，这条线穿过像素和各自的光学中心。两条线相交的地方，就是 3D 中的对象点。由于不完美的世界，它们可能不会相交，并且可能会使用线彼此最接近的点。

有几种算法可以检测哪些点对应。

当使用视差时，需要对齐两个图像平面，使图像平行，并且图像 1 中的每一行对应于图像 2 中的同一行。然后只需要逐行搜索对应关系。那么知道单个对应点在x轴上的差异也足够了。这就是差异。