如何从特征匹配结果中获取视差图和深度图？答案

【问题标题】：How can I get disparity map and depth map from the feature matching result?如何从特征匹配结果中获取视差图和深度图？
【发布时间】：2022-01-24 15:54:21
【问题描述】：

现在我想从特征匹配结果中得到一个深度图。

所以我真的希望也许有人可以给我一个链接或代码来实现这个目标。非常感谢。

【问题讨论】：

您首先必须在您的代码中显示您到目前为止所做的事情，然后其他人可以查看并帮助您。
我只是使用了这个方法的开源代码，得到了这两张图片的特征匹配结果。（例如左侧图像的像素 x=24,y=24 与右侧图像的像素 x=20.3,y=32.5 匹配）我想也许我可以得到左图像中该像素的视差结果和深度值，这样我终于可以得到一张稀疏的深度图了。
其实我是立体匹配和特征匹配的新手，但是老板有这个想法想让我实现，如果太难我就放弃了。

【解决方案1】：

您将无法使用特征匹配获得可靠的深度或视差图，尤其是在您发布的示例中。让您开始使用低质量深度图的通用算法是：

为一个或两个图像找到一个旋转因子，以最小化特征匹配中所有 y 偏移的总和。
遍历每个特征并记录从图像 A 到图像 B 的 x 偏移量。这将为您提供稀疏视差图。
现在困难的部分...使用修复方法（有很多，查找它们）根据现有值填充缺失的像素值。（即使您的初始图像对齐良好，这也会给您带来不可靠的结果，但考虑到您的起点，这是您唯一的选择。）
现在您有了一张密集的视差图。从深度到视差的转换是一个简单的计算，但它需要在拍摄每张图像时了解相机的位置、旋转和属性（焦距、传感器尺寸等）。您可以将这些值组合起来以创建虚假的深度图，但同样会导致精度更低。

【讨论】：