OpenCV如何抓取实时帧而不是下一帧？

Question

我意识到，当我使用 OpenCV 在 rtsp url 中抓取视频 (cv2.VideoCapture('rtsp://...')) 时，实际上我得到的是流的每一帧，而不是实时帧。

示例：如果视频具有 30fps 和 10 秒长，如果我获得第一帧并等待 1 秒以获取下一帧，我将获得第 2 帧而不是实时帧（它应该是第 30 帧或31).

我担心这些，因为如果我的代码需要更长的时间来进行视频处理（深度学习卷积），结果总是会延迟而不是实时传递。

当我从 rtsp 捕获时，我如何设法始终获取当前帧？

谢谢！

Answer 1

这与代码无关。许多 IP 摄像机为您提供编码输出（H.265/H.264）。

当你使用VideoCapture()时，相机的输出数据由CPU解码。你提到的延迟，比如 1 秒到 2 秒之间是正常的。

可以做些什么来让它更快：

1. 如果您有 GPU 硬件，则可以通过它对数据进行解码。这 会给你很好的结果（根据使用经验 最新版本的 NVIDIA gpus：您将获得近 25 毫秒 延迟）要在您的代码上实现这一点，您需要：

   • CUDA 安装
   • CUDA 启用 OpenCV 安装
   • VideoReader class 的 OpenCV

2. 您可以将VideoCapture() 与 FFMPEG 标志一起使用，FFMPEG 具有解码编码数据的高级方法，这可能会为您提供使用 CPU 可以获得的最快输出。 但这不会减少太多时间。