外部和内部矩阵的立体视觉如何构建深度图未知？

Question

任务：给定来自 2 个不同相机的 2 张图像，从第一个相机的角度构建深度图。相机未校准，因此外在矩阵和内在矩阵是未知的。我们知道相机的位置略有不同（例如，我拍了一张照片，稍微移动了相机然后又拍了一张）。不得使用花哨的库，主要是自行实现的解决方案。

我的想法：

1. 检测两个图像上的一些关键点
2. 在关键点上做一些对应匹配，所以我们会有一堆关键点对，它们很可能代表两个图像上的同一个点
3. 使用 Bundle Adjustment 找到外部和内部矩阵
4. 从外部矩阵和内部矩阵计算基本矩阵
5. 对于第一个图像上的每个像素，搜索第二个图像上的对极线（借助基本矩阵）并找到匹配位置
6. 对于每个匹配对，计算对应于两个点的两条射线（线）。
7. 理想情况下，它们会相交，但如果不相交，则计算第一条线上最靠近第二条线的点。
8. 该点与相机本身的距离应该提供深度信息。
9. 对每个点执行最后几个步骤，然后我们就有了深度图。

   问题：

   1. 这种方法行得通吗？
   2. IMO，似乎有点复杂，有没有更简单的方法？
   3. 我能否以某种方式避免进行捆绑调整？例如。只用 8 位计算基本矩阵比较容易，但我不明白这是否足够。
   4. （这是问这个问题的正确地点吗？）

Answer 1

如果你真的对这个主题感兴趣，帮自己一个忙，给自己买一本好书。热烈推荐H&S MVICV。您询问的是计算机视觉、图像处理和处理几何的整个领域，不可能包含在 SO 答案中。

在你（至少）阅读了关于双视图几何的章节之后，你会对这个问题有一些了解，并且很可能想要使用现有的库来完成一些涉及的任务。例如，编写好的三角剖分代码非常重要。

祝你好运，新年快乐。