姿态估计：判断旋转和平移矩阵是否正确答案

【问题标题】：pose estimation: determine whether rotation and transmation matrix are right姿态估计：判断旋转和平移矩阵是否正确
【发布时间】：2017-05-12 16:29:20
【问题描述】：

最近我正在为单个相机的姿势估计问题而苦苦挣扎。我在图像上有一些 3D 点和相应的 2D 点。然后我使用solvePnP来获取旋转和平移向量。 问题是，如何判断向量是否是正确的结果？

现在我使用一种间接的方式来做到这一点：
我使用某个点的旋转矩阵、平移向量和世界 3D 坐标来获得该点在 Camera 系统中的坐标。那么我所要做的就是确定坐标是否合理。我想我知道相机系统的 x、y 和 z 轴的方向。

相机中心是相机系统的原点吗？
现在考虑该点的 x 分量。 x 是否等于相机与世界空间中相机 x 轴方向上的点的距离（符号可以通过该点放置在相机的哪一侧来确定）？

下图是在世界空间中，而所描绘的轴是在相机系统中。

========How Camera and the point be placed in the world space=============
   |
   |              
Camera--------------------------> Z axis
   |                |} Xw?
   |                P(Xw, Yw, Zw)
   |              
   v x-axis

我的 rvec 和 tvec 结果似乎对与错。对于一个指定的点，z 值似乎是合理的，我的意思是，如果这个点在 z 方向上距离相机大约一米，那么 z 值大约是 1。但是对于 x 和 y，根据位置点 我认为 x 和 y 应该是正数，但它们是负数。而且在原图中检测到的图案是这样的：

但是使用相机系统中计算的点坐标和相机内在参数，我得到这样的图像：

目标保持其模式。但它从右下角移动到左上角。我不明白为什么。

【问题讨论】：

标签： camera rotational-matrices pose-estimation opencv-solvepnp

【解决方案1】：

是的，相机中心是相机坐标系的原点，好像就在this post之后。

在相机位姿估计的情况下，值似乎合理可以命名为反投影误差。这是对生成的旋转和平移将 3D 点映射到 2D 像素的程度的衡量标准。不幸的是，solvePnP 不返回残差测量。因此必须计算它：

cv::solvePnP(worldPoints, pixelPoints, camIntrinsics, camDistortion, rVec, tVec);

// Use computed solution to project 3D pattern to image
cv::Mat projectedPattern;
cv::projectPoints(worldPoints, rVec, tVec, camIntrinsics, camDistortion, projectedPattern);

// Compute error of each 2D-3D correspondence.
std::vector<float> errors;
for( int i=0; i < corners.size(); ++i)
{
    float dx = pixelPoints.at(i).x - projectedPattern.at<float>(i, 0);
    float dy = pixelPoints.at(i).y - projectedPattern.at<float>(i, 1);
    // Euclidean distance between projected and real measured pixel
    float err = sqrt(dx*dx + dy*dy); 

    errors.push_back(err);
}

// Here, compute max or average of your "errors"

经过校准的相机的平均反投影误差可能在 0 - 2 像素范围内。根据你的两张照片，这会更多。对我来说，这看起来像是一个缩放问题。如果我是对的，你自己计算投影。也许您可以尝试一次 cv::projectPoints() 并进行比较。

当涉及到变换时，我学会了不要跟随我的想象 :) 我对返回的 rVec 和 tVec 做的第一件事通常是从中创建一个 4x4 刚性变换矩阵（我发布过一次代码 here）。这让事情变得更加不直观，但它却紧凑且方便。

【讨论】：

【解决方案2】：

现在我知道答案了。

是的，相机中心就是相机坐标系的原点。
考虑相机系统中的坐标计算为 (xc,yc,zc)。那么 xc 应该是相机和现实世界中 x 方向的点。

接下来，如何判断输出矩阵是否正确？
1. 正如@eidelen 指出的那样，反投影误差是一种指示性措施。
2.根据点在世界坐标系中的坐标和矩阵计算点的坐标。

那么为什么我得到了错误的结果（图案仍然存在但移动到图像的不同区域）？
solvePnP() 中的参数cameraMatrix 是提供相机外部参数参数的矩阵。在相机矩阵中，您应该对 cx 和 cy 使用 width/2 和 height/2。虽然我使用图像尺寸的宽度和高度。我认为这导致了错误。在我纠正并重新校准相机后，一切似乎都很好。

【讨论】：