opencv中reprojectImageTo3D函数的Q矩阵

Question

我正在 opencv 中做一个项目，以使用立体校准检测盲人路径中的障碍物。我已经正确计算了视差图。现在要找到障碍物与相机的距离，我想要它的 3D 坐标 [X,Y,Z] ，我猜它可以通过 reprojectImageTo3D() 找到，但我没有在这个函数中使用的 Q 矩阵，因为我从 stereoRectify() 获得的 Q 矩阵即将变为空，可能是因为我使用了预校准的图像。虽然我确实有我的相机的内在和外在参数。 所以我的问题是，如果我知道焦距、基线和关于我的相机的所有其他信息，我如何手动创建 Q 矩阵以直接在函数 reprojectImageTo3D() 中使用？ Q矩阵的基本格式是什么？

Answer 1

Q矩阵的形式如下：

在该图像中，c_x 和 c_y 是左侧主点的坐标相机（如果您使用左侧相机主导进行立体匹配），c'_x 是右侧相机中主点的 x 坐标（cCV_CALIB_ZERO_DISPARITY 指定CV_CALIB_ZERO_DISPARITY 标志，则 sub>x 和 c'_x 将相同）， f 是焦距，T_x 是基线长度（可能是基线长度的负数，它是从一个光学中心到另一个 I想想）。

我建议您阅读本书Learning OpenCV 了解更多信息。它仍然基于旧的 C 接口，但很好地解释了基础理论，并且是我从中获取 Q 矩阵形式的地方。

Answer 2

如果要直接创建Q矩阵：

cv::Mat Q;
Q.at<double>(0,0)=1.0;
Q.at<double>(0,1)=0.0;
Q.at<double>(0,2)=0.0;
Q.at<double>(0,3)=-160; //cx
Q.at<double>(1,0)=0.0;
Q.at<double>(1,1)=1.0;
Q.at<double>(1,2)=0.0;
Q.at<double>(1,3)=-120;  //cy
Q.at<double>(2,0)=0.0;
Q.at<double>(2,1)=0.0;
Q.at<double>(2,2)=0.0;
Q.at<double>(2,3)=348.087;  //Focal
Q.at<double>(3,0)=0.0;
Q.at<double>(3,1)=0.0;
Q.at<double>(3,2)=1.0/95;    //1.0/BaseLine
Q.at<double>(3,3)=0.0;    //cx - cx'

但是您应该校准两个相机，然后从 cv::stereoRectify 获取 Q 矩阵。小心，将 Q 矩阵读取为双精度值。