3D 重建：从未校准的图像中求解 3D 点的方程

Question

这是一个非常简单的问题（我希望如此）。以下来自3D reconstruction from Multiple Images，Moons 等人（图 2-13，第 348 页）：

来自两个未校准图像的投影 3D 重建

给定：在两个未校准图像I<sub>1</sub> 和I<sub>2</sub> 之间I<sub>1</sub> 和m<sub>2</sub> 在I<sub>2</sub> 中的一组点对应关系静态场景。

目标：场景的投影 3D 重建^M。

算法：

1. 计算基本矩阵的估计 ^F
2. 从^F 计算极点e<sub>2</sub>
3. 计算 3x3 矩阵
   ^A = −(1/||e<sub>2</sub>||<sup>2</sup>) [e<sub>2</sub>]<sub>x</sub> ^F
4. 对于每对对应的图像点m<sub>1</sub>和m<sub>2</sub>，求解^M的以下线性方程组：
   ^p<sub>1</sub> m<sub>1</sub> = ^M和^p<sub>2</sub> m<sub>2</sub> = ^A ^M + e<sub>2</sub>
   （^p<sub>1</sub> 和 ^p<sub>2</sub> 是非零标量）

[我为格式化道歉。我不知道怎么给角色戴帽子。]

在第 4 步之前我都还好。但距离我上一堂线性代数课已经 30 多年了，即便如此，我也不确定我是否知道如何解决这样的问题。任何帮助或参考将不胜感激。

顺便说一句，这是我另一个帖子的后续：

Detecting/correcting Photo Warping via Point Correspondences

这只是尝试解决问题的另一种方法。

Answer 1

给定一对匹配的图像点 m₁ 和 m₂，由于测量中的噪声，来自光学中心的两条对应光线不太可能完美相交。因此，应该在（线性）最小二乘意义上找到所提供系统的解决方案，即使用（例如）找到x = argmin_x | C x - d |^2：

      /           0 \ /    \
      |  I  -m1   0 | |  M |
C x = |           0 | |    |
      |       0     | | p1 |
      |  A    0 -m2 | \ p2 /
      \       0     /

和

    /  0  \
    |  0  |
d = |  0  |
    |     |
    | -e2 |
    \     /

这个问题有 6 个方程的 5 个未知数。

一个可能的替代公式利用了 m₁ 和 m₂ 与 M 共线的事实，因此 m1 x M = 0 和 m2 x (A M + e2) = 0 产生线性最小二乘问题 @987654327 @与：

    / [m1]x   \ /   \
C = |         | | M |
    \ [m2]x A / \   /

和

    /     0    \
d = |          |
    \ -m2 x e2 /

其中[v]x 是与v 的叉积的 3 x 3 矩阵。该问题有 6 个方程的 3 个未知数，只有保持非线性相关的方程才能减少到 4 个。