图像对齐 warpPerspective 或 warpAffine

Question

我在 3D 场景中有两个图像 I1 和 I2。图像之间的区别在于对象已移动。相机位置和校准是已知的，物体上的一些 3D 特征点以及移动它的 3D 变换也是已知的。我也有这些特征点的投影。

我想对齐图像。所以看起来我有几个选择：

1. 我可以只查看 2D 特征点并导出仿射变换来进行对齐。直觉上，这似乎会有错误，因为它不会考虑透视失真。

2. 我可以找到单应变换并使用 warpPerspective 进行变换。我是单应变换的新手，但听起来这会考虑到透视失真。事实上，根据我的设置，我相信单应矩阵很简单：反转投影矩阵，反转 3D 变换，然后重新投影。这将给出 x' = Hx。这似乎会给我准确的图像对齐。

那么第一个问题：warpPerspective 会给出比 warpAffine 更好的对齐结果吗？

第二个问题：不是所有的特征点都在同一个平面上。我还能使用 warpPerspective 吗？我想我为单应变换阅读了这些点必须在同一平面上。

第三个问题：由于单应变换是 3x3，这意味着我需要知道图像中每个像素的 z 坐标才能进行变换？

谢谢。

Answer 1

仿射变换是图像平面内的二维变换。它不考虑平面外变换。

单应性模拟平面的透视变换。所以可以帐户例如对于后倾斜平面。

如果您的对象是平面但可以进行平面外旋转，则您需要一个单应性来对其进行建模。

如果您的模式是非平面的，那么单应性不是真正的模型。话虽如此，通常它是一个足够的近似值。但是，平面外点会被错误地扭曲。