在 OpenCV 中合并两个 Mat-Objects

Question

我写了一个小函数，以便能够将图像的像素“粘贴”在另一个图像之上，但不知何故它不起作用：虽然我的“粘贴”图像的“形状”是正确的，但颜色是不是。

示例花是第一张图片，作为第二张图片，我有一个黑色梯形 png。如您所见，存在多个问题： 1.颜色显示怪异。实际上没有颜色，只有灰度，还有一些奇怪的条纹作为叠加。 2. 不尊重 Alpha 值。叠加图像的白色部分在 png 中是透明的。

这是我的代码：

void mergeMats(Mat mat1, Mat mat2, int x, int y){
    //unsigned char * pixelPtr = (unsigned char *)mat2.data;
    //unsigned char * pixelPtr2 = (unsigned char *)mat1.data;
    //int cn = mat2.channels();
    //int cn2 = mat2.channels();
    //Scalar_<unsigned char> bgrPixel;

    for (int i = 0; i < mat2.cols; i++){
        for (int j = 0; j < mat2.rows; j++){
            if (x + i < mat1.cols && y + j < mat1.rows){

                Vec3b &intensity = mat1.at<Vec3b>(j+y, i+x);
                Vec3b intensity2 = mat2.at<Vec3b>(j, i);
                for (int k = 0; k < mat1.channels(); k++) {
                    intensity.val[k] = saturate_cast<uchar>(intensity2.val[k]);
                }
                //pixelPtr2[(i + x)*mat1.cols*cn2 + (j + y)*cn2 + 0] = pixelPtr[(i + x)*mat2.cols*cn + (j + y)*cn + 0];
                //pixelPtr2[(i + x)*mat1.cols*cn2 + (j + y)*cn2 + 1] = pixelPtr[(i + x)*mat2.cols*cn + (j + y)*cn + 1];
                //pixelPtr2[(i + x)*mat1.cols*cn2 + (j + y)*cn2 + 2] = pixelPtr[(i + x)*mat2.cols*cn + (j + y)*cn + 2];
            }
        }
    }
}

注释代码是另一种方法，但结果相同。 所以，这是我的问题： 1. 如何解决这 2 个问题（1. 颜色...，2. alpha ...） 2. 任何 Mat-Object 的像素阵列实际上是如何组织的？我想如果我知道其中的内容，我会更容易操作这些数组。

Answer 1

因为您使用错误类型迭代 mat2。将Vec3b intensity2 = mat2.at<Vec3b>(j, i); 更改为：

Vec4b intensity2 = mat2.at<Vec4b>(j, i);

并且奇怪的条纹被消除了。并使用intensity2[3]处理alpha通道。

---

假设您正在使用-1 标志读取黑色梯形 png 文件：

auto trapezoidImg = cv::imread("trapezoid.png", -1);

-1flag 指定读取 alpha 通道。然后trapezoidImg按如下格式组织：

[B, G, R, A, B, G, R, A, ......;
  B, G, R, A, B, G, R, A, ......;
  ......
  B, G, R, A, B, G, R, A, ......]

您可以打印出trapezoidImg，例如使用std::cout，以找出这种格式。

如果您使用at<Vec3b> 阅读trapezoidImg，您实际上得到的是(B, G, R), (A, B, G), (R, A, B), ... ...，这就是奇怪的条纹的来源。因此，请使用at<Vec4b>正确读取（R，G，B，A）强度。

接下来，您应该定义如何处理 Alpha 通道。您可以混合两个垫子或覆盖另一个垫子，无论如何。一种简单的方法是仅当 mat2 中的 alpha 通道足够大时才覆盖 mat1：

cv::Vec3b &intensity = mat1.at<cv::Vec3b>(j + y, i + x);
cv::Vec4b intensity2 = mat2.at<cv::Vec4b>(j, i);
for (int k = 0; k < mat1.channels(); k++) {
    if (intensity2.val[3] > 250){  //3 for alpha channel
        intensity.val[k] = cv::saturate_cast<uchar>(intensity2.val[k]);
    }
}

这足以处理具有透明背景的黑色梯形 png。或者通过混合两个 Mat 进一步扩展规则：

cv::Vec3b &intensity = mat1.at<cv::Vec3b>(j + y, i + x);
cv::Vec4b intensity2 = mat2.at<cv::Vec4b>(j, i);

auto alphaValue = cv::saturate_cast<uchar>(intensity2.val[3]);
auto alpha = alphaValue / 255.0;

for (int k = 0; k < 2; k++) { //BGR channels only
    intensity.val[k] = cv::saturate_cast<uchar>(
        intensity2.val[k] * alpha + intensity.val[k] * (1.0 - alpha));
}