opencv立体校准结果

Question

好像我有两个网络摄像头，标记为cam1,cam2。我想校准它们以获得它们之间的转换。

我使用cv::stereoCalibrate()进行校准。

我得到cam1到cam2的转换后，标记为R,T。我想检查校准结果的准确性。

所以我用cam1和cam2拍了一张棋盘的照片，标记为pic1,pic2。我得到了cam1的外在参数cv::solvePnP()。我画了cam1 的世界坐标系由cv::projectPoints() 在pic1 中。

然后，我认为cam2的旋转矩阵=cam1的旋转矩阵*R。而cam2的平移矩阵=cam1的平移矩阵+T。

我通过上面的思路计算了cam2的外在参数，并在pic2中通过cv::projectPoints()绘制了cam2的世界坐标系。

但是pic2的原点位置不对。

这是我使用的部分代码。

void check_res(const vector<string> &imgs_nm,const Mat &R,const Mat &T,const Mat &cam_c,const Mat &cam_h,const Mat &dist_c,const Mat &dist_h)
{
    int imgs_cnt=imgs_nm.size()/2;
    vector<Point3f> obj_pts;
    for(int i=0;i<boardDimensions.height;i++)
        for(int j=0;j<boardDimensions.width;j++)
            obj_pts.push_back(Point3f(i*CHESS_LEN,j*CHESS_LEN,0.f));
    for(int i=0;i<imgs_cnt;i++)
    {
        vector<Point2f> c_cners,h_cners;
        Mat imgc_gray,imgh_gray;
        Mat imgc=imread(imgs_nm[i*2],1);
        Mat imgc_rz=imgc.clone();

        bool c_found,h_found;
        c_found=HasChessBoard(imgc_rz,imgc_gray,c_cners);
        if(c_found)
            cv::cornerSubPix(imgc_gray, c_cners, cv::Size(11, 11), cv::Size(-1, -1),cv::TermCriteria(CV_TERMCRIT_EPS + CV_TERMCRIT_ITER, 30, 0.1));
        Mat imgh=imread(imgs_nm[i*2+1],1);
        h_found=HasChessBoard(imgh,imgh_gray,h_cners);
        if(h_found)
            cv::cornerSubPix(imgh_gray, h_cners, cv::Size(11, 11), cv::Size(-1, -1),cv::TermCriteria(CV_TERMCRIT_EPS + CV_TERMCRIT_ITER, 30, 0.1));
        Mat rvec_c,rvec_h,tvec_c,tvec_h;
        cv::solvePnP(obj_pts,c_cners,cam_c,dist_c,rvec_c,tvec_c);
        cv::solvePnP(obj_pts,h_cners,cam_h,dist_h,rvec_h,tvec_h);
        Mat rrvec_c,rrvec_h;
        cv::Rodrigues(rvec_c,rrvec_c);
        cv::Rodrigues(rvec_h,rrvec_h);
        Mat r1=rrvec_c*R;
        Mat t1=tvec_c+T;

        Mat img1=imgh.clone();
        draw_chess(imgh,rrvec_h,tvec_h,cam_h,dist_h);
        imshow("pic1",imgh);
        draw_chess(img1,r1,t1,cam_h,dist_h);
        imshow("pic2",img1);


        char resc=waitKey(0);
        if(resc=='q')
            exit(1);

    }
}

以下是我使用opencv中的样本测试的结果。

我不认为这是低校准精度，因为我使用opencv 的样本，而cv::stereoCalibrate() 返回的 rms 小于 1 像素。

感谢任何建议。 谢谢！

Answer 1

公式是：

• 相机 1 的姿势（在齐次矩阵中）：

• 从相机 1 到相机 2 的均匀变换：

• 相机 2 的姿势：

Answer 2

为了检查立体校准的准确性，我会考虑另一种方法：

1. 使用函数stereoRectify获取相机的整流变换。使用从stereoCalibrate 获得的平移和旋转矩阵。
2. 对每个摄像机执行一次initUndistortRectifyMap。使用
3. 将您得到的结果用于remap 两个摄像头的图像。

如果您的校准顺利，输出图像应该被校正且不失真。