MATLAB 的estimateUncalibratedRectification 用数学方法表示什么？它具体计算什么？

Question

MATLAB 的estimateUncalibratedRectification 在数学/几何方面有什么作用？

它的精确计算是什么？

据我了解，如果相机参数未知，则仅可以从两个图像中计算出基本矩阵，不是基本矩阵。

所以，据我了解，estimateUncalibratedRectification 的结果应该是模糊的，直到某种转换 T 因为基本矩阵 - 如果相机的内在参数未知，则可以从两个图像计算- 对于任意投影变换是模棱两可的。

这样对吗？

我的猜测是，estimateUncalibratedRectification 为image1 计算一个射影变换P1，为image2 计算另一个射影变换P2，这样当使用这两个变换时（P1 和P2 ) 在相应的图像上，然后生成的图像（R1 和 R2）将在相应的核线将在同一行中的意义上进行校正，如下图所示。

我的问题是：这个结果有多模棱两可？ 我的感觉是，产生的转换 P1 和 P2 对于某些转换 T 来说是模棱两可的，但我真的不明白这个 T 可以是什么。

有人能解释一下estimateUncalibratedRectification 在概念上/数学上/几何上的工作原理，还可以告诉T 是什么吗？

换句话说，什么是变换 T 应用于 R1 和 R2 将产生图像对 TR1 和 TR2 将具有相同修正属性为R1和R2，即对应的极线出现在TR1和TR2的匹配行中，就像它们在R1和R2中一样？

这是什么T？有这样的T吗？

PS.：我在发布这个问题之前已经阅读了estimateUncalibratedRectification.m 的代码，但这让我没有更聪明。

Answer 1

如果内在函数未知，则结果在投影变换之前是模棱两可的。换句话说，如果您使用estimateUncalibratedRectification 校正一对图像，然后计算视差并进行 3D 重建，那么您将重建 3D 场景直至进行投影变换。直线将是直线，平行线将是平行的，但您的角度和尺寸可能是错误的。

要确定什么是投影变换，您需要更多信息。如果您知道相机的内在特性，那么您就可以进行规模重建。换句话说，您可以获得正确的角度和相对尺寸。要获得正确的比例，您需要知道基线（相机之间的距离）或场景中某些参考对象的大小。

解决此问题的更直接的方法是使用 Camera Calibrator 应用或 Stereo Camera Calibrator 应用校准您的相机。