【问题标题】:Send opencv Mat image through Qt websocket to HTML client通过Qt websocket将opencv Mat图像发送到HTML客户端
【发布时间】:2017-11-07 18:21:58
【问题描述】:

我正在尝试使用 Qt 5.7 在 c++ 中编写应用程序,基本上它应该是一个 websocket 服务器,为此使用 qwebsocket,能够将使用 opencv 详细说明的图像发送到 HTML 客户端。我要做的是在base64中对图像进行编码,传输并在客户端将编码的字符串放入图像标签的src中。 只是为了测试,我可以正确发送/接收文本消息,因此 websocket 架构正在运行,但我在图像方面存在一些问题。这是我的代码 sn-ps:

服务器

    cv::Mat imgIn;
    imgIn = cv::imread("/home/me/color.png",CV_LOAD_IMAGE_COLOR);
    QByteArray Img((char*)(imgIn.data),imgIn.total()*imgIn.elemSize());
    QByteArray Img64 = Img.toBase64();
    pClient->sendBinaryMessage(Img64);

客户

<img id="ItemPreview" src="" style="border:5px solid black" />

....

websocket.binaryType = "arraybuffer";

websocket.onmessage = function (evt) {
console.log( "Message received :", evt.data );
document.getElementById("ItemPreview").src = "data:image/png;base64," + evt.data;
};

我认为大多数问题都在服务器上,因为我从图像中得到的 base64 序列与我从在线转换器 image/base64 中得到的不同。 在客户端上,我在控制台中收到此错误,但没有显示任何内容:

data:image/png;base64,[object ArrayBuffer]:1 GET data:image/png;base64,[object ArrayBuffer] net::ERR_INVALID_URL

有什么提示吗?

解决方案

感谢建议,我可以提供工作代码:

服务器

    imgIn = cv::imread("/home/me/color.png", CV_LOAD_IMAGE_UNCHANGED);
    std::vector<uchar> buffer;
    cv::imencode(".png",imgIn,buffer);
    std::string s = base64_encode(buffer.data(),buffer.size());
    pClient->sendTextMessage(QString::fromStdString(s));

客户

删除了这一行:

    websocket.binaryType = "arraybuffer";

服务器中的base64编码是使用以下代码完成的:

Encode/Decode base64

【问题讨论】:

  • 如果你只想要一个 base64 字符串,为什么要websocket.binaryType = "arraybuffer";?

标签: html c++ image qt websocket


【解决方案1】:

服务器中的这一行:

imgIn = cv::imread("/home/me/color.png",CV_LOAD_IMAGE_COLOR);

解码 PNG 格式的图像,并将其作为像素数据的负载放入内存中(可能还有一些行填充,您不考虑这些,见下文)。这就是你的base64编码。

客户端中的这一行:

document.getElementById("ItemPreview").src = "data:image/png;base64," + evt.data;

期望的是 PNG 图像,但这不是您要发送的;您刚刚推出了大量原始像素数据,没有尺寸、步幅或格式信息或其他任何信息。

如果您的客户想要一个 PNG,您将不得不使用类似 imencode 的东西将 PNG 数据写入内存缓冲区,然后使用 base64 对其进行编码。

另一件需要注意的重要事情是,解码后的图像可能有行填充......在每行的末尾有几个字节用于内存对齐目的。因此,每个图像行的实际长度可能超过图像宽度乘以每个像素的大小(以字节为单位)。这意味着这个操作:

QByteArray Img((char*)(imgIn.data),imgIn.total()*imgIn.elemSize());

实际上,可能不会将整个图像缓冲区包装在您的QByteArray 中。有多种方法可以检查图像的步幅/步长,但您最好阅读 cv::Mat 文档,因为我不值得在这里重复它们。这仅在您进行原始字节级图像操作时才重要,就像您在这里一样。如果您使用imencode,则无需担心这一点。

【讨论】:

    猜你喜欢
    • 2014-02-26
    • 2019-10-15
    • 2014-12-01
    • 2020-10-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多