如何通过投影矩阵从 KITTI 获得鸟瞰图？

Question

目标是从 KITTI 图像（数据集）中获取鸟瞰图，并且我有投影矩阵 (3x4)。

有很多方法可以生成转换矩阵。对于鸟瞰图，我已经阅读了一些数学表达式，例如：

H12 = H2*H1-1=ARA-1=P*A-1 in OpenCV - Projection, homography matrix and bird's eye view

和 x = Pi * Tr * X in kitti dataset camera projection matrix

但这些选项都不适用于我的目的。

Python 代码

将 numpy 导入为 np 导入cv2

image = cv2.imread('Data/RGB/000007.png')

maxHeight, maxWidth = image.shape[:2]

M 有 3x4 尺寸

M = np.array(([721.5377, 0.0, 609.5593, 44.85728], [0.0, 721.5377, 72.854, 0.2163791], [0.0, 0.0, 1.0, .002745884]))

这里需要一个 3x3 维度的 M 矩阵

warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))

显示原始图像和变形图像

cv2.imshow("原图", 图片)

cv2.imshow("扭曲", 扭曲)

cv2.waitKey(0)

我需要知道如何管理投影矩阵以获得鸟瞰图。

到目前为止，我尝试过的每件事都会向我抛出扭曲的图像，甚至没有接近我需要的信息。

This is a example of image from the KITTI database.

This is other example of image from the KITTI database.

左侧显示了检测汽车的 3D（上）和 2D（下）图像。右边是我想要获得的鸟瞰图。因此，我需要获取变换矩阵来变换分隔汽车的框的坐标。

Answer 1

这是我手动构建鸟瞰图变换的代码：

cv::Mat1d CameraModel::getInversePerspectiveMapping(double pixelPerMeter, cv::Point const & origin) const {
    double f = pixelPerMeter * cameraPosition()[2];
    cv::Mat1d R(3,3);
    R <<  0, 1, 0,
          1, 0, 0,
          0, 0, 1;

    cv::Mat1d K(3,3);
    K << f, 0, origin.x, 
         0, f, origin.y, 
         0, 0, 1;
    cv::Mat1d transformtoGround = K * R * mCameraToCarMatrix(cv::Range(0,3), cv::Range(0,3));
    return transformtoGround * mIntrinsicMatrix.inv();
}

函数内部使用的成员变量/函数是

• mCameraToCarMatrix：一个 4x4 矩阵，包含从相机坐标系到汽车坐标系的齐次刚性变换。相机的轴是 x-right、y-down、z-forward。汽车的轴是 x-forward、y-left、z-up。在此函数中，仅使用了 mCameraToCarMatrix 的旋转部分。
• mIntrinsicMatrix：保存相机内在参数的 3x3 矩阵
• cameraPosition()[2]：汽车坐标系中摄像头的Z坐标（高度）。和mCameraToCarMatrix(2,3)一样。

函数参数：

• pixelPerMeter：鸟瞰图分辨率。 XY 平面上 1 米的距离将转换为鸟瞰图像中的pixelPerMeter 像素。
• origin: 鸟瞰图中相机的位置

您可以将变换矩阵作为newCameraMatrix 传递给cv::initUndistortRectifyMaps()，然后使用cv::remap 创建鸟瞰图。