如何使用 python 将 OpenCV 输出发送到浏览器？答案

【问题标题】：How to send OpenCV output to browser with python?如何使用 python 将 OpenCV 输出发送到浏览器？
【发布时间】：2018-09-16 19:18:44
【问题描述】：

我有一个带有 open cv 的简单 python 脚本，它接收视频并使用 YOLO 对其进行对象检测。我的问题是，如何将输出显示为我的网站作为实时流。
这是python代码，保存到output.avi。

import cv2
from darkflow.net.build import TFNet
import numpy as np
import time
import pafy

options = {
    'model': 'cfg/tiny-yolo.cfg',
    'load': 'bin/yolov2-tiny.weights',
    'threshold': 0.2,
    'gpu': 0.75
}

tfnet = TFNet(options)
colors = [tuple(255 * np.random.rand(3)) for _ in range(10)]

capture = cv2.VideoCapture()
capture.open("rtmp://888888888888888")

fourcc = cv2.VideoWriter_fourcc(*'XVID')
out = cv2.VideoWriter('output.avi',fourcc, 20.0, (640,480))

#capture = cv2.VideoCapture(url)
capture.set(cv2.CAP_PROP_FRAME_WIDTH, 1920)
capture.set(cv2.CAP_PROP_FRAME_HEIGHT, 1080)

while True:
    stime = time.time()
    ret, frame = capture.read()
    if ret:
        results = tfnet.return_predict(frame)


        for color, result in zip(colors, results):
            if result['label'] == 'person':
                tl = (result['topleft']['x'], result['topleft']['y'])
                br = (result['bottomright']['x'], result['bottomright']['y'])
                label = result['label']
                confidence = result['confidence']
                text = '{}: {:.0f}%'.format(label, confidence * 100)
                frame = cv2.rectangle(frame, tl, br, color, 5)
                frame = cv2.putText(
                    frame, text, tl, cv2.FONT_HERSHEY_COMPLEX, 0.8, (0, 0, 0), 2)
        out.write(frame)
        cv2.imshow('frame', frame)
        print('FPS {:.1f}'.format(1 / (time.time() - stime)))
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

capture.release()
out.release()
cv2.destroyAllWindows()

【问题讨论】：

您可以使用 Gstreamer gist.github.com/tetkuz/0c038321d05586841897 或 FFMPEG alkannoide.com/2013/07/04/play-with-ffserver-a-quick-overview。 OpenCV 支持这两者。 FFMPEG 需要运行 ffserver 的实例，这是不幸的，因为 ffserver 已被弃用并且很快将被删除。所以我建议研究 Gstreamer。

标签： python opencv object-detection live-streaming yolo

【解决方案1】：

您可以使用 ffmpeg 或 GStreamer 在本地网络上流式传输图像，而不是写入文件，并使用一些播放器来显示流式传输。或者您可以使用简单的烧瓶服务器和 html 页面来执行此操作，请参见此处：https://blog.miguelgrinberg.com/post/video-streaming-with-flask

【讨论】：

谢谢，快速浏览一下该页面似乎正是我所追求的。问候李
我想将修改后的视频帧直接发送到 html Video 标签，而无需转换为 .jpg 等图像格式。我该如何实现或者我应该转换任何其他格式？

【解决方案2】：

我有点晚了，但你使用我的VidGear Python 库的WebGear，这是一个强大的 ASGI 视频流 API，它基于 Starlette - 一个轻量级的 ASGI 框架/工具包。但此 API 仅适用于 testing 分支，因此请使用以下命令安装它：

要求：仅适用于 Python 3.6+。

git clone https://github.com/abhiTronix/vidgear.git
cd vidgear
git checkout testing
sudo pip3 install .
sudo pip3 uvicorn #additional dependency
cd

然后您可以使用这个完整的 python 示例，它在网络上的任何浏览器上运行地址为 http://0.0.0.0:8000/ 的视频服务器：

#import libs
import uvicorn
from vidgear.gears import WebGear

#various performance tweaks
options = {"frame_size_reduction": 40, "frame_jpeg_quality": 80, "frame_jpeg_optimize": True, "frame_jpeg_progressive": False}

#initialize WebGear app with suitable video file (for e.g `foo.mp4`) 
web = WebGear(source = "foo.mp4", logging = True, **options)

#run this app on Uvicorn server at address http://0.0.0.0:8000/
uvicorn.run(web(), host='0.0.0.0', port=8000)

#close app safely
web.shutdown()

Documentation

如果仍然出现错误，请在其 GitHub 存储库中提出 issue here。

【讨论】：

【解决方案3】：

使用 cv2.imencode 将图像编码为 jpeg 格式并将其传递给浏览器中的标记。删除 cv2.imshow，waitkey 会更好，因为它无助于在浏览器中显示它会阻止您的服务器启动，并且在您按“q”后程序将停止，因此它不会显示任何输出。

而是制作一个带有 api 端点的烧瓶应用程序来返回帧。不要忘记以JPEG格式编码，否则将无法正常工作。

【讨论】：