将具有相移的 3 个波段 (r,g,b) 图像合并为 1 个 rgb 图像

Question

我有一个定制的相机，其中包含 3 个单独的镜头 + 过滤器排列成三角形，因此在每次拍摄中我都会得到 3 个单波段灰度图像（r、g、b）。我想合并它们以获得 RGB。

问题是，由于 3 个镜头在物理上是分开的，因此它们拍摄的图像没有对齐。结果，当我在软件包 QGIS 中使用命令 qdal_merge 时，结果看起来很奇怪。我可能还需要调整 r,g,b 的权重。我把原始的 r,g,b 图像和我使用 qgis 生成的输出放在这个 dropbox folder 中。

是否有现有的开源工具来进行对齐和合并？如果没有，我该如何使用opencv？

Answer 1

可以使用简单的像素强度距离度量来组合 R、G、B 图像，例如距离平方和 (SSD)。更好的度量标准是归一化互相关 (NCC)（参见 Wikipedia），它首先将图像矩阵归一化为单位向量，并计算此类单位向量的点积（来自 2 个输入图像）。 NCC 值越高，表示两幅输入图像的相似度越大。 但是，NCC 相似性可能不足以计算两个高分辨率图像的最佳对齐，例如您提供的 TIFF 图像。因此，应该使用如下所述的下采样方法 以较小的尺寸对齐两个输入图像，然后在重新缩放图像时简单地计算偏移量。

所以对于输入图像red、green 和blue，有两种方法可以将它们对齐到单个 RGB 图像中：

1. 将 blue 图像视为参考图像，例如 w.r.t.我们将red 和green 图像对齐。现在考虑red 和blue 图像。在某个窗口内，使用NCC相似度度量计算red和blue图像的最佳对齐偏移量，找到shifted_red图像。对green 和blue 图像执行相同的操作。现在组合shifted_red、shifted_green 和blue 图像以获得最终的RGB 图像。
2. 对于高分辨率图像，请选择scale_count。递归地，在每一步将图像大小调整一半，计算 red 图像 w.r.t 的偏移量。 blue 图像，重新调整偏移量并应用它。进行这种递归多尺度对齐的好处是减少了计算时间并提高了对齐的准确性（您不知道为解决方案 (1) 搜索对齐偏移的最佳窗口大小，因此这会更好）。重复此方法以计算 green 和 blue 通道的对齐方式，然后按照 (1) 组合最终结果。

由于这个问题在计算摄影课程的作业中很常见，我不打算分享任何代码。但是，我已经实现了这两种方法并尝试了您提供的图像。我不知道哪个输入图像是红色的，所以我有两个结果（重新缩放以减小文件大小）：

如果IMG_0290_1.tif 是红色，IMG_0290_2.tif 是绿色，IMG_0290_3.tif 是蓝色：

RGB result if red:1, green:2, blue:3

如果IMG_0290_3.tif 是红色，IMG_0290_2.tif 是绿色，IMG_0290_1.tif 是蓝色（这对我来说看起来更正确）：

RGB result if red:3, green:2, blue:1