如何计算相机内在和外在？

Question

如果我们知道相机矩阵，则可以将使用 iPhone 或 Android 的相机拍摄的 2D 图像转换为 3D 点云。在给定一些其他参数的情况下，我对如何计算某些参数有部分了解，但我需要您的帮助来填补我知识中的空白。

给定世界坐标 (W)、对应的图像坐标 (X) 和相机内在矩阵 (K)。任务是将 3D 点云投影到世界中。

1. 使用 X 和 W 估计 Homography(H)。
2. 使用 K 和 H 估计外在矩阵 (E)。
3. 使用 K 和 E 计算相机矩阵。
4. 使用相机矩阵将 3D 点投影到图像上。

所以，如果我知道至少 4 个 3D 点及其对应的像素位置，前提是我已经知道相机内在函数，那么我可以计算上述所有内容。

但是如果我不知道相机的内在函数，我该如何计算呢？我怎样才能得到至少4个世界和图像坐标的对应关系？有没有比我建议的更简单的方法来获取相机矩阵？

我不是在网上寻找相机校准示例，但我想从头开始编写代码。非常感谢您对此提供任何帮助！

Answer 1

• 可以使用camera calibration (Theory of Bouguet’s MatLab Camera Calibration Toolbox) 估算内在参数。
• 外部参数可以通过3D pose estimation / PnP 问题进行估计。
• 可以通过features matching，标记/棋盘角检测获得点对应关系。

PS：关于你的说法，我认为：

1. 单应性不应处理 3D 坐标（具有已知深度）。
2. 您应该能够在特定假设（平面假设）下使用单应性和先前的相机位姿来计算当前相机位姿，但这不是通常的过程。

E 通常代表Essential matrix，而不是外在矩阵。