评估图像配准过程的置信度答案

【问题标题】：Evaluating the confidence of an image registration process评估图像配准过程的置信度
【发布时间】：2016-01-08 09:54:37
【问题描述】：

背景：

假设从两个不同的角度为同一场景拍摄两个镜头。对它们应用配准算法将产生表示它们之间关系的单应矩阵。通过使用此 Homography Matrix 扭曲其中一个，将（理论上）产生两个相同的图像（如果忽略非共享区域）。

由于不存在完美，所以两张图片可能并不完全相同，我们可能会发现它们之间存在一些差异，并且在减去它们时可以明显地显示出这种差异。

示例：

此外，光照条件可能会导致减法时的巨大差异。

问题：

我正在寻找一个可以评估注册过程准确性的指标。该指标应为：

归一化： 0->1 次测量，与图像类型（自然场景、文本、人类...）无关。例如，如果在完全不同的一对照片上的两个完全不同的注册过程具有相同的置信度，假设为 0.5，这意味着发生了相同的好（或坏）注册。这应该适用，即使其中一张是非常详细的照片，另一张是白色背景，黑色写着“你好”。
区分错配精度和不同的照明条件：虽然有很多方法可以消除这种差异并使两个图像看起来大致相同，但我正在寻找可以做到的测量不计算它们而不是修复它们（性能问题）。

首先想到的就是将两张图片的绝对差异相加。但是，这将产生一个代表错误的数字。当您想将它与另一个配准过程进行比较时，这个数字没有任何意义，因为另一个配准更好但细节更多的图像可能会产生更大的错误而不是更小的错误。

抱歉，帖子太长了。我很高兴提供任何进一步的信息并合作寻找解决方案。

附：使用 OpenCV 是可以接受且可取的。

【问题讨论】：

【解决方案1】：

您始终可以在两个图像中使用不变（照明/缩放/旋转）功能。例如 SIFT 特征。

当您使用典型比率（最近和次最近之间）匹配这些时，您将获得大量匹配项。您可以使用您的方法或在这些匹配上使用 RANSAC 来计算单应性。在任何情况下，对于任何单应性候选，您都可以计算与模型一致的特征匹配的数量（全部）。数字除以总匹配数得出的模型质量指标为 0-1。

如果您使用 RANSAC 使用匹配项来计算单应性，则质量指标已经内置。

【讨论】：

谢谢。这是真的，但不是正常化的......而且这正是我现在正在做的事情。虽然我很肯定它在 0 和 1 之间，但它在一对和另一个之间有很大不同
此外，如果 100% 准确，您只需 4 点即可获得完美的配准。同时，如果它只是 1000 个特征点中的 4 个，那么这个测量值就会很低
无论使用多少点来计算单应性，您仍然可以计算有多少使用单应性转换的点产生与匹配特征相同的坐标。如果单应性是正确的，并且给定一个没有退化的场景，你应该得到一个高比率。
是的，我的意思是只有 4 个具有非常严格阈值的内点。我的观点是你不能依赖匹配点的数量来评估单应矩阵。
好吧，如果您的场景中只有 4 个点匹配定义了单应性，而所有其他匹配项都不一致，那么您可能不应该使用单应性，因为深度差异太大以至于它不是一个很好的模型。当场景是平面时，单应性效果最好。

【解决方案2】：

这个问题是给定两个图像来决定它们的错位程度。

这就是我们进行注册的原因。注册方法无法回答自己所做的工作有多糟糕，因为如果它知道它会完成它。

只有在绝对正确的情况下我们才知道结果：0

您想要一个确定性的答案吗？您添加确定性输入。

给定固定位置的一个红色方块，可以测量它的旋转程度 - 平移缩放。在实验室条件下是可以做到的。

【讨论】：