什么算法对于实时检测视频帧中的可变形 ROI（不是对象）最有用？

Question

我正在 MATLAB 中开发一个项目（稍后在 C++ 或 Python 中实现，使用 OpenCV），当实时视频开始时，用户可能会绘制一个感兴趣的区域。它将被绘制为多边形。但是，此 ROI 可能会跳出框架然后重新出现。在这一点上，它应该被识别和检测。主要问题是它不是具有特定物理特征的显着物体，因为它可以（在某种程度上）改变形状、弯曲、拉伸。而且，它应该是实时运行的，这使得实施培训变得困难。

我尝试使用颜色直方图来强调 ROI 的颜色特征，然后对图像进行阈值处理，但它仅适用于特定条件。我确实有工程背景，但在此之前没有使用过任何机器学习。我读到 SVM 的 HOG 特性可能会有所帮助，甚至 Hough 变换。我使用 ACF 得到了一些不错的结果，但它仍然需要分类器的训练阶段。

这样做的目的是在该区域内的跟踪器完全丢失后重新初始化它们。我知道经过训练的分类器，可以通过多种算法识别它，但我遇到的问题是实时进行，并且之前没有任何训练。

由于视频是外科手术，我上传了 4 个示例帧，说明用户 ROI 的边界框是什么。

（下面是手术的明确照片，将鼠标悬停在该区域上方或单击以显示它们。）

任何建议都会有很大帮助。

Answer 1

因为 ROI 是实时决定的，所以我认为带有预训练的功能在这里不起作用。最近，我发现了一个对find a sticker in the image 有帮助的话题。建议的解决方案是template matching。

这些步骤是捕获 ROI 并使用模板匹配在每一帧中搜索“最佳相似”区域。

因为在您的情况下，对象可能会随着时间的推移发生变化（不会太多），结果可能并不完美，但这是一个好方法。

来自上述主题的图片