将 cv::Mat 复制到 CMSampleBufferRef

Question

如何将 cv::Mat 数据复制回 sampleBuffer？

我的场景如下： 我从 pixelBuffer 创建一个 cv::Mat 用于地标检测，并将地标添加到 cv::Mat 图像数据。我想将此 cv::Mat 复制到示例缓冲区中，以便与地标一起显示。

这可能吗？

我使用 dlib 实现了这一点，但需要知道如何使用 cv::mat:

char *baseBuffer = (char *)CVPixelBufferGetBaseAddress(imageBuffer);
img.reset();
long position = 0;
while (img.move_next()) {
        dlib::bgr_pixel& pixel = img.element();
        long bufferLocation = position * 4; //(row * width + column) * 4;
        char b = baseBuffer[bufferLocation];
        char g = baseBuffer[bufferLocation + 1];
        char r = baseBuffer[bufferLocation + 2];
        dlib::bgr_pixel newpixel(b, g, r);
        pixel = newpixel;

        position++;
    }

Answer 1

我正在回答我自己的问题。

首先，你需要访问 cv::mat Image 的像素数据，我跟着这个很棒的solution

然后你需要从basebuffer开始将像素复制到缓冲区中。以下代码应该可以帮助您实现这一目标：

CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
char *baseBuffer = (char *)CVPixelBufferGetBaseAddress(imageBuffer);   
long position = 0;
uint8_t* pixelPtr = (uint8_t*)targetImage.data;
int cn = targetImage.channels();
cv::Scalar_<uint8_t> rgbPixel;
for(int i = 0; i < targetImage.rows; i++)
{
    for(int j = 0; j < targetImage.cols; j++)
    {
        long bufferLocation = position * 4;

        rgbPixel.val[0] = pixelPtr[i*targetImage.cols*cn + j*cn + 0]; // B
        rgbPixel.val[1] = pixelPtr[i*targetImage.cols*cn + j*cn + 1]; // G
        rgbPixel.val[2] = pixelPtr[i*targetImage.cols*cn + j*cn + 2]; // R
        baseBuffer[bufferLocation] = rgbPixel.val[2];
        baseBuffer[bufferLocation + 1] = rgbPixel.val[1];
        baseBuffer[bufferLocation + 2] = rgbPixel.val[0];
        position++;
    }
}

注意事项

• 确保您CVPixelBufferLockBaseAddress 和 CVPixelBufferUnlockBaseAddress 手术前后。我
• 我在 CV_8UC3 上做这个，你可能想检查你的 cv::mat
  输入。
• 我还没有进行性能分析，但是我得到了平滑的输出。