从两个 2D 图像重建 3D 场景

Question

这是我第一次做图像处理。所以我有很多问题： 我有两张从不同位置拍摄的照片，一张从左侧拍摄，另一张从右侧拍摄，如下图所示。[![在此处输入图像描述][1]][1]

第一步：使用imread函数读取图片

  I1 = imread('DSC01063.jpg');

  I2 = imread('DSC01064.jpg');

第二步：在matlab中使用camera calibrator app获取cameraParameters

  load cameraParams.mat 

第 3 步：使用 undistortImage 函数去除镜头失真

  [I1, newOrigin1] = undistortImage(I1, cameraParams, 'OutputView', 'same');

  [I2, newOrigin2] = undistortImage(I2, cameraParams, 'OutputView', 'same');

第四步：使用detectSURFFeatures函数检测特征点

  imagePoints1 = detectSURFFeatures(rgb2gray(I1), 'MetricThreshold', 600);

  imagePoints2 = detectSURFFeatures(rgb2gray(I2), 'MetricThreshold', 600);

第 5 步：使用 extractFeatures 函数提取特征描述符

  features1 = extractFeatures(rgb2gray(I1), imagePoints1);

  features2 = extractFeatures(rgb2gray(I2), imagePoints2);

第 6 步：使用 matchFeatures 函数匹配特征

  indexPairs = matchFeatures(features1, features2, 'MaxRatio', 1);

  matchedPoints1 = imagePoints1(indexPairs(:, 1));

  matchedPoints2 = imagePoints2(indexPairs(:, 2));

从那里，我如何构建 3D 点云？？？ 在第 2 步中，我使用图片附件中的棋盘格来校准相机[！[在此处输入图像描述][ 2]][2]

正方形大小为 23 毫米，从 cameraParams.mat 我知道内部矩阵（或相机校准矩阵 K），其形式为 K=[alphax 0 x0; 0阿尔法y0； 0 0 1]。

为了计算相机矩阵 P1 和 P2，我需要计算基本矩阵 F、基本矩阵 E，对吧？？？

之后，当我拥有相机矩阵 P1 和 P2 时，我使用线性三角测量方法来估计 3D 点云。 方法对吗？

如果您对我有任何建议，我将不胜感激？

谢谢！

Answer 1

要对点进行三角测量，您需要所谓的“相机矩阵”以及每张图像中的 2D 点（您已经拥有）。

在 Matlab 中，您有函数 triangulate，它可以为您完成这项工作。

如果您已经校准了相机，那么您应该已经拥有这些信息。无论如何，you have here an example 如何创建三角测量所需的“stereoParams”对象。

Answer 2

是的，这是正确的方法。现在您已经匹配了点，您可以使用estimateFundamentalMatrix 来计算基本矩阵 F。然后通过将 F 乘以外部矩阵来获得基本矩阵 E。请注意乘法的顺序，因为cameraParameters 中的内在矩阵相对于您在大多数教科书中看到的内容进行了转置。

现在，您必须decompose E into a rotation and a translation，您可以从中使用cameraMatrix 构造第二个摄像头的摄像头矩阵。您还需要第一个相机的相机矩阵，其旋转将是一个 3x3 单位矩阵，而平移将是一个 3 元素 0 向量。

编辑：现在在 MATLAB 中有一个 cameraPose 函数，它在给定基本矩阵和相机参数的情况下计算一个按比例缩放的相对姿势（“R”和“t”） .