最快的 Mask R-CNN 实现是什么答案

【问题标题】：What is the fastest Mask R-CNN implementation available最快的 Mask R-CNN 实现是什么
【发布时间】：2023-03-12 17:47:01
【问题描述】：

我正在边缘设备（使用 NVIDIA GTX 1080）上运行 Mask R-CNN 模型。我目前正在使用 Detectron2 Mask R-CNN 实现，我的推理速度约为 5 FPS。

为了加快速度，我查看了其他推理引擎和模型实现。例如 ONNX，但我无法获得更快的推理速度。

TensorRT 对我来说看起来很有希望，但我没有找到一个现成的“开箱即用”实现。

是否有其他成熟快速的推理引擎或其他技术来加速推理？

【问题讨论】：

你需要Mask R-CNN吗？您可以检查 YOLOV3 或 RetinaNet，因为它们是一个阶段（无提案阶段），尤其是 YOLO 非常快并且用于类似的任务。你可以找到一些比较here。
我需要实例分割...

【解决方案1】：

正如@kkHarshit 已经提到的那样，进一步加速 Mask R-CNN 非常困难。

它的性能甚至比 Mask R-CNN 或 Yolact 差，但仍然非常好。

【讨论】：

【解决方案2】：

带有DNN_BACKEND_CUDA 和DNN_TARGET_CUDA/DNN_TARGET_CUDA_FP16 的OpenCV 4.5.0。

使用 1024 x 1024 输入图像屏蔽 RCNN

Device             | FPS
------------------ | -------
GTX 1080 Ti (FP32) | 29
RTX 2080 Ti (FP16) | 60

测量的 FPS 包括 NMS，但不包括其他预处理和后处理。网络完全在 GPU 上端到端运行。

【讨论】：

【解决方案3】：

在 GTX 1080 上几乎不可能获得更高的 Mask R-CNN 推理速度。您可以查看 Facebook AI Research 的 detectron2。

否则，我建议使用YOLACT - (You Only Look At CoefficienTs)，它可以实现实时实例分割。

另一方面，如果不需要实例分割，可以使用YOLO、SSD等进行物体检测。

【讨论】：

您好，谢谢您的回答。我已经看过 YOLACT，我发现它的架构非常酷（这篇论文也非常易读）。问题在于，与 Mask R-CNN 相比，YOLACT 在我们的数据集上的表现非常糟糕。这就是为什么我必须使用 Mask R-CNN。问题是实例分割，所以 YOLO 或 SSD 不起作用。