如何使用 OpenVINO 获得与 OpenCV 一样快的 YOLOv4 推理时间？答案

【问题标题】：How can I get YOLOv4 inference times with OpenVINO that are as fast as OpenCV?如何使用 OpenVINO 获得与 OpenCV 一样快的 YOLOv4 推理时间？
【发布时间】：2021-10-29 13:51:03
【问题描述】：

如果我在我的 CPU 上运行带有泄漏 relu 激活的 YoloV4 模型，在 OpenCV 中使用 256x256 RGB 图像和 OpenVINO 后端，推理时间加上非最大抑制约为 80 毫秒。另一方面，如果我将我的模型转换为https://github.com/TNTWEN/OpenVINO-YOLOV4 之后的IR，它与https://github.com/AlexeyAB/darknet 链接，直接使用OpenVINO 推理引擎的推理时间大约为130ms，甚至不包括非最大抑制，在 python 中天真地实现时非常慢。

不幸的是，OpenCV 没有为我想尝试的模型和推理方案提供我想要的所有控制（例如，我想更改批量大小、从暗网以外的 YOLO 存储库导入模型等）

是什么让 OpenCV 与 OpenVINO 后端的速度如此之快？

【问题讨论】：

标签： opencv yolo openvino

【解决方案1】：

推理性能取决于应用程序，并受模型大小、模型架构、处理器等许多变量的影响。

This benchmark result 显示在多个 Intel® CPU、GPU 和 VPU 上运行 yolo-v4-tf 的性能结果。

例如，您可以使用 11th Gen Intel® Core™ i7-11850HE @ 2.60GHz CPU 来运行 yolo-v4-tf，这会产生 80.4 毫秒的推理时间。

yolo-v4-tf 和 yolo-v4-tiny-tf 是 public pre-trained models，可用于学习和演示目的或开发深度学习软件。您可以使用Model Downloader下载这些模型。

【讨论】：