服务器端实时分析来自客户端的视频流

Question

我正在尝试构建一个系统，用于在服务器上对使用 WebRTC 从客户端流式传输的视频进行实时分析。

这是我目前的想法。我会从客户端捕获网络摄像头视频流并将其（使用 H.264 压缩？）发送到我的服务器。

在我的服务器上，我会将流和每个原始帧接收到我的 C++ 库进行分析。

分析的输出（要绘制的框坐标）然后将通过 WebRTC 或单独的 WebSocket 连接发送回客户端。

我一直在网上寻找像 Kurento 和 Mediasoup 这样的开源媒体服务器，但由于我只需要读取流（无需发送到其他客户端），我真的需要使用现有的服务器吗？或者我可以自己构建它吗？如果可以，从哪里开始？

总的来说，我对 WebRTC 和视频流世界还很陌生，所以我想知道，你觉得这整件事对吗？

Answer 1

这取决于您的要求的实时性。如果您想要 30-60fps 和近乎实时的速度，通过 RTP 将图像发送到服务器是最好的解决方案。然后你会需要抖动缓冲区、解包等、视频解码器等。

如果您每秒只需要一张图像，从画布中抓取并通过 Websockets 或 HTTP POST 发送它会更容易。 https://webrtchacks.com/webrtc-cv-tensorflow/ 展示了如何在 Python 中做到这一点。