OpenCV - 从 2D 获取 3D 坐标

Question

我看到很多人问类似的问题，但我无法完全匹配我的问题的任何答案

我有标记，我在图像坐标中得到它的 (x,y)。我可以得到变换矩阵和旋转矩阵。现在如何获取 (x,y,z) 坐标？

（如果有人能建议我如何解决我的问题或重定向我将不胜感激）。

编辑：我使用 Alvar 库，我在其中获取标记坐标，并且还可以获得它的姿势（所以我也有 3x3 的旋转矩阵和 3x4 或 4x4 的平移矩阵）

编辑 2：我进行了更多搜索，并研究了允许我获取旋转和平移矩阵的方法。好吧，我假设我可以得到两个矩阵，这取决于输入参数。但是如果我将 3x3 矩阵设置为参数，我将只有旋转矩阵，但如果我放在那里 3x4 或 4x4 矩阵，我会得到：

• 适用于 4x4
  | r0 r1 r2 t1 |
  | r3 r4 r5 t2 |
  | r6 r7 r8 t3 |
  | 0 0 0 1 |

• 适用于 3x4
  | r0 r1 r2 t1 |
  | r3 r4 r5 t2 |
  | r6 r7 r8 t3 |

Answer 1

假设您在图像平面上有一个以像素为单位的图像点：cv::Vec2d imagePoint(u, v);

首先，你应该在相机坐标系中变换这个点。假设您的相机的内在参数（相机矩阵和镜头畸变系数）已知，您可以计算观察到的imagePoint 的理想(u', v') 坐标：

u'' = (u - cx)/fx
v'' = (v - cy)/fy
(u', v') = undistort(u'', v'', distCoeffs)

其中cx 和cy 是通常在图像中心周围的主要点的坐标，此外fx 和fy 是以像素为单位的焦距（您可以从相机矩阵中获取它们） . 而distCoeffs包含径向/切向畸变系数，这也是cv::calibrateCamera(...)的结果。

无论如何，您不应该手动计算(u', v')，因为cv::undistortPoints(...) 通过调用没有或默认R 和P 参数的函数来执行此操作。

imagePoint在相机坐标系中的点如下：

std::vector<cv::Vec2d> imagePts;
std::vector<cv::Vec2d> idealPts;
imagePts.push_back(imagePoint);

cv::undistortPoints(imagePts, idealPts, cameraMatrix, distCoeffs);

const double lambda = 1.0;
cv::Mat cameraPt(3, 1, CV_64F);
cameraPt.at<double>(0) = idealPts[0][0] * lambda;
cameraPt.at<double>(1) = idealPts[1][1] * lambda;
cameraPt.at<double>(2) = lambda;

此时需要相机到世界的变换矩阵在世界坐标系中表达cameraPt：

cv::Mat camToWorld = cv::Mat::eye(4, 4, CV_64FC1);
// Fill camToWorld with [R^T|-R^T*t]
// ...

cameraPt.push_back(1.0);
cv::Mat worldPt = camToWorld * cameraPt;

到目前为止，worldPt 在世界坐标系中定义了一条射线，对应于imagePoint。也就是说，射线/线的每个点都可以投影到同一个imagePoint，所以你在世界上有无数个点属于同一个imagePoint。但是，例如，使用 Möller–Trumbore 射线-三角形相交算法，您可以确定世界平面上的一个 3-D 点。