我正在处理一组校准图像，这些图像在前景对象 (1) 周围形成一个环。我使用 Fusiello 的方法 (1) 来校正相邻的图像对，然后进行视差估计。
当我从立体对中提取匹配点并对其进行三角测量时，它会形成准确的点云。不幸的是，当我对另一个立体图像对中的点进行三角测量时，这个点云永远不会与原始云正确对齐。
校准后的图像的点云是否应该自动合并在一起？
提前感谢您提供的任何帮助。
【问题讨论】：
标签： image-processing computer-vision
这可能是由于校准的准确性 - 内在（即相同的相机模型 - 以及它如何处理失真）和外在（即相机在真实空间）。当然，这些共同决定了您重新投影的最终准确性。
您是否衡量了相机校准的误差 - 就 MSE 重新投影而言？
根据我的经验，如果简单地迭代后续图像，累积错误通常会很明显。通常需要执行某种形式的全局优化，以首先纠正所有相机姿势的位置。
差异估计的准确性也是一个因素。不仅与您使用的算法有关，而且与立体基线以及它与所讨论对象的大小/性质的关系（凹/凸程度）以及您正在拍摄的图像的采样次数有关（以及这些图像的质量 - 曝光/景深/等）。
从根本上说，您的点云有多“离谱”？它们是否接近对齐（在三角测量之前你可以做一些 ICP ......）。它们是否更接近重新投影的“中心”？从物体两侧的对立图像中进行的投影会更糟吗？
还要记住，（由于离散采样）您不应该期望点会被精确地重新投影到彼此的“顶部”上。在三角剖分管道中通常会进行某种形式的分箱操作来处理这个问题（因此大部分研究工作都是在视觉外壳 -> 体素 -> 行进立方体 -> 围绕这个的三角表面......）
你检查过MeshLab BTW 吗？
【讨论】：