坐标变换 C++

Question

我有一个网络摄像头斜对着一张桌子，我用它跟踪标记。 我在 OpenSceneGraph 中有一个 transformationMatrix，它的转换部分包含从跟踪对象到相机的相对坐标。 因为相机是倾斜的，所以当我在桌子上移动标记时，Y 和 Z 轴会更新，尽管我想要更新的是 Z 轴，因为标记的高度不会只改变它到相机。 当在 OpenSceneGraph 中将模型投影到标记上时，模型会稍微偏离，并且当我将标记移动到周围时，Y 和 Z 值会错误地更新，这会产生影响。

所以我的猜测是我需要一个变换矩阵，将每个点与它相乘，这样我就有一个新的坐标系，它位于桌子表面上正交。 像这样：A * v1 = v2 v1 是相机坐标，v2 是我的“表格坐标” 所以我现在所做的就是选择 4 个点来“校准”我的系统。因此，我将标记放在屏幕的左上角，并将 v1 定义为当前相机坐标，将 v2 定义为 (0,0,0)，并针对 4 个不同的点进行了此操作。 然后利用我从未知矩阵和两个已知向量中得到的线性方程求解矩阵。

我认为我将为矩阵获得的值将是与相机坐标相乘所需的值，以便模型在标记上正确更新。 但是当我将之前收集的已知相机坐标与矩阵相乘时，我没有得到任何接近我的“表格坐标”的东西。

我的方法完全错误吗，我只是在方程式中弄乱了一些东西吗？ （在 wolframalpha.com 的帮助下解决）有没有更简单或更好的方法来做到这一点？ 任何帮助将不胜感激，因为我有点迷茫并且在一些时间压力下：-/ 谢谢， 大卫

Answer 1

当我在桌子上移动标记时，Y 轴和 Z 轴会更新，尽管我只想更新 Z 轴，因为标记的高度不会只改变它到相机的距离。

仅当您的相机的视角方向与您的 Y 轴（或 Z 轴）对齐时才为真。如果相机未与 Y 对齐，则表示变换将应用围绕 X 轴的旋转，从而修改标记的 Y 和 Z 坐标。

所以我的猜测是我需要一个转换矩阵，将每个点与它相乘，这样我就有一个新的坐标系，它位于桌子表面上。

是的。之后，您将有 2 个转换：

1. T_table 表示标记在表中的坐标参考，
2. T_camera 表示相机参照中的表坐标。

从单个 2d 图像中查找 T_camera 很困难，因为没有深度信息。

这被称为姿势问题——Daniel DeMenthon 曾研究过这个问题。他开发了一种快速且稳健的算法来寻找物体的姿势：

• 文章可在其research homepage 上找到，第 4 节“基于模型的物体姿势”（尤其是“25 行代码中基于模型的物体姿势”，1995 年）；
• 代码the same place，“POSIT（C 和 Matlab）”部分。

请注意，OpenCv 库提供了 DeMenthon 算法的实现。这个库还提供了一个方便易用的界面来从网络摄像头抓取图像。值得一试：OpenCv homepage

Answer 2

如果您知道四个标记在物理世界中的位置，并且您已经记录了它们出现在相机上的位置，那么您应该能够推导出某种变换。

当您进行校准时，您肯定希望将标记放在桌子的四个角而不是屏幕上吗？如果你只是在做屏幕的角落，我想你可能没有考虑到桌子的倾斜。

桌子只是相对于相机倾斜还是完全旋转？