我对 OpenCV 非常陌生，对 OpenGL 的经验有限。我愿意在棋盘的校准图像上叠加一个 3D 对象。有什么提示或指导吗？
【问题讨论】：
标签： opengl opencv augmented-reality layer camera-calibration
基本思想是您有 2 个摄像头：一个是物理摄像头（您使用 opencv 检索图像的那个），一个是 opengl 摄像头。您必须对齐这两个矩阵。
为此，您需要校准物理相机。
首先。您需要一个畸变参数（因为每个镜头或多或少都有一些光学畸变），并使用这些参数构建所谓的内在参数。为此，您可以在纸上打印一个棋盘，用它来获取一些图像并校准相机。它在互联网上充满了很好的教程，从你的回答看来你有它们。挺好的。
那么。您必须校准相机的位置。这是通过所谓的外部参数完成的。这些参数编码了这些相机的 3D 世界的位置和旋转。
OpenCV 方法cv::solvePnP 和cv::Rodrigues 需要内部参数，并使用rodrigues 方法获取外部参数。该方法获取输入2组对应点：一些3D已知点及其2D投影。这就是为什么所有增强现实应用程序都需要一些标记：通常标记是方形的，所以在检测到它之后，您就知道点 P1(0,0,0) P2(0,1,0) P3(1,1, 0) P4(1,0,0) 形成一个正方形，你可以找到上面的平面。
一旦你有了外部参数，所有的游戏都很容易解决：你只需要在 OpenGL 中使用 FoV 和相机的孔径角从内部参数进行透视投影，然后将相机放置在外部参数给定的位置参数。
当然，如果您想（并且您应该）正确理解和处理此过程的每个步骤.. 有很多数学 - 矩阵、角度、四元数、矩阵，还有.. 矩阵。你可以在著名的Multiple View Geometry in Computer Vision from R. Hartley and A. Zisserman.中找到参考
此外，要正确处理 opengl 部分，您必须处理所谓的“现代 OpenGL”（请记住，glLoadMatrix 已弃用）和用于加载相机位置矩阵的一点着色器（对我而言，这是是个问题，因为我对此一无所知）。
我之前已经处理过这个问题，并且我有一些代码，所以请随时询问您遇到的任何问题。这里有一些我感兴趣的链接：
请先阅读它们。像往常一样，一旦你有了这个概念，这就是一个简单的笑话，需要让你的大脑稍微撞到墙上。只是不要被所有这些数学吓到:)
【讨论】：