努力进行 3D 重建的步骤（Matlab）

Question

我们被要求进行 3D 重建（PhD 硕士模块），而我正在抓狂。我不确定我是否遗漏了任何步骤，或者我是否做错了。我试图用谷歌搜索代码，并用我的函数替换它们的函数，看看我是否能从中得到正确的结果，但我做不到。

我将简单介绍一下我目前正在做的事情，我希望你们中的一个人能告诉我我遗漏了一些明显的东西：

我正在使用的图片：http://imgur.com/a/UbshI

• 加载校准左右图像，点击对应点得到P1和P2

• 使用 RQ decomp 获取 K1 & K2（以及 R1、R2、t1、t2，但我似乎没有在任何地方使用它们。最初我尝试做 R = R1*R2', t = t2- t1 在将 P1 设置为规范 (I|0) 后创建我的新 P2，但这也不起作用。

• 将 P1 设置为规范 (I | 0)

• 使用 RANSAC 计算基本矩阵 F，以及对应点 im1、im2。

• 获取点的像素颜色

• 通过 K2' * F * K1 得到基本矩阵 E

• 从E中得到4个不同的投影矩阵，然后选择正确的一个

• 使用 P1、P2、im1、im2 进行三角匹配以获得 3D 点

• 使用散点图绘制 3D 点，为它们提供该点像素的 RGB 值。

• 我不满意的结果：

目前，由于我无处可去，因此我想选择最简单的选项并逐步提高。仅供参考，我正在使用matlab。如果有人有任何提示，我真的很想听听。

Answer 1

结果证明它不起作用是一个奇怪的原因。我使用的是 matlab 的detectSURFFeatures，它给出了不准确的匹配对。我从不认为这是错误的，但我的一位同学也有同样的问题。我将其更改为使用detectEigenMinFeatures，它工作正常！这是我现在的结果，它并不完美，但要好得多：

Answer 2

如果您已经有了 P1 和 P2，那么您可以简单地从这两个图像中对匹配的点进行三角测量。无需估计基本矩阵。

如果您只有内在函数（单个相机的 K，或两个不同相机的 K1 和 K2），那么您的方法是有效的：

1. 估计基本矩阵
2. 获取基本矩阵
3. 将 E 分解为 R 和 t
4. 将 P1 设置为规范，并根据 K、R 和 t 计算 P2。
5. 使用 P1 和 P2 对匹配点进行三角剖分。

此方法在计算机视觉系统工具箱中的 example 中进行了说明。

在任何一种情况下，您都应该仔细检查您的代码，并确保所有矩阵都有意义。 MATLAB 的约定是行向量乘以矩阵，而许多教科书将矩阵乘以列向量。所以矩阵可能需要转置。

在此之前，使用showMatchedFeatures 绘制您的点匹配以确保它们有意义。