最佳方法：如何检测特征很少但成组出现的对象

Question

我的问题与检测成群飞行的鸟非常相似。物体的特征很少，可以在图像中以不同的角度定位。对象可以偶尔定位在一个组中（不是常规网格），但它们永远不会相交。我尝试了 YoloV3：一开始，我有 过度拟合，但至少它适用于训练图像）。随着我增加训练图像的数量，它停止工作，网络无法学习数据（underfitting）。我认为主要问题是，对象没有足够的 CNN 功能，即单独的对象太简单了。我想以某种方式利用他们总是成群结队的事实，即以某种方式考虑邻居。分组中它们的数量可能不同，至少 3 个，但大多数 > 10 个。它们可能看起来不同（如翅膀位置不同的鸟），但一组中所有对象的大小大致相同。我是神经网络的新手，所以也许有更多经验的人可以为我指明正确的方向。

我尝试使用OpenCV中的模板匹配：我必须使用许多模板（>20），因为对象可能看起来完全不同（翅膀的不同位置）；并且还需要多尺度匹配，这都需要很多执行时间。但更重要的是，在不同的设置下，模板匹配发现的对象要么太少，要么误报太多。所以我认为神经网络更适合这项任务。如果我错了，请纠正我。我想也许通过 Mask-RCNN 来掩盖“有用”区域是有意义的，然后以某种方式分离这些区域中的对象（因为我必须为用户单独标记它们） .这可行吗，或者我可以尝试其他一些方法吗？任何提示将不胜感激！

编辑：我在图像中还有许多其他对象（不仅仅是天空和鸟类），例如树木。并且叶子或叶子组给出误报。它们可能具有不同的颜色（绿色、橙色、深绿色、黑色），因此几乎不可能按颜色过滤它们。

Answer 1

引用YOLO introduction article:

2.4。 YOLO 的局限性

YOLO 对边界框预测施加了强大的空间约束，因为每个网格单元只能预测两个框并且只能有一个类别。这种空间约束限制了我们的模型可以预测的附近物体的数量。 我们的模型难以处理成群出现的小物体，例如鸟群。

自 YOLO 版本 1 以来，对小型和多尺度对象的识别有了很大改进，但我没有发现任何证据表明它在小型分组对象识别方面变得更好（如果我错了请纠正我） .

在大型高分辨率图像上识别非常小的物体会有问题，因为 YOLOv3 会将它们缩小到 416x416（如果使用YOLOv3 320，则为 320x320）分辨率。如果图像太大，您可以提供图像的 YOLOv3 区域。或者您可以为此类情况找到一些现有的解决方案。

在this article 中，伙计们通过使用支持向量机将基于 CNN 的检测器与全卷积网络和基于超像素的语义分割相结合，以实现在大图像中检测小物体的高性能。他们声称可以实现很高的检测精度。

---

但是，如果您想要检测的对象与其环境之间的相对差异明显且易于计算，您通常可以使用更简单的方法，只涉及一点点算法图像处理。

您可以尝试通过鸟类和天空之间的高颜色对比度来检测羊群。通常鸟类在天空背景上显得更暗。您可能会发现 this 和这个 this OpenCV 关于图像阈值的文档对此很有帮助。

int main(){
    Mat src = imread("1.jpg");
    Mat gray;
    cvtColor(src, gray, CV_BGR2GRAY);
    Mat thresholded;
    threshold(gray, thresholded, 100, 255, CV_THRESH_BINARY_INV);
    imwrite("2.jpg", thresholded);
    return 0;
}

我知道了：

现在您可以使用findContours() 或SimpleBlobDetector 提取白色小鸟斑点（并将它们与模板进行匹配，或者在需要时进行额外的识别/分类）。