OpenCV 速度交通标志检测

Question

我在使用适用于 Android 的 opencv 2.4 检测速度交通标志时遇到问题。 我执行以下操作：

“捕获帧 -> 将其转换为 HSV -> 提取红色区域 -> 使用椭圆检测检测标志”

到目前为止，只要图片质量好，椭圆检测就可以完美运行。 但是正如你在下面的图片中看到的那样，我认为红色提取不起作用，因为相框质量差。

将原始图像转换为 HSV：

Imgproc.cvtColor(this.source, this.source, Imgproc.COLOR_RGB2HSV, 3);

提取红色：

Core.inRange(this.source, new Scalar(this.h,this.s,this.v), new Scalar(230,180,180), this.source);

所以我的问题是有没有另一种方法可以检测这样的交通标志或从中提取红色区域，顺便说一下，这些区域可能像上一张图​​片一样非常微弱？强>

这是原图：

这将转换为 HSV，因为您可以看到红色区域看起来与附近的树木颜色相同。这就是我想知道它是红色的，但我不能。

转换为 HSV：

这是提取的红色。如果颜色正确，我应该在标志周围得到几乎完美的圆形/椭圆，但由于颜色错误，它是不完整的。

提取后的结果：

椭圆法：

private void findEllipses(Mat input){
Mat thresholdOutput = new Mat();
int thresh = 150;

List<MatOfPoint> contours = new ArrayList<MatOfPoint>();
MatOfInt4 hierarchy = new MatOfInt4();

Imgproc.threshold(source, thresholdOutput, thresh, 255, Imgproc.THRESH_BINARY);
//Imgproc.Canny(source, thresholdOutput, 50, 180);
Imgproc.findContours(source, contours, hierarchy, Imgproc.RETR_LIST, Imgproc.CHAIN_APPROX_SIMPLE);
RotatedRect minEllipse[] = new RotatedRect[contours.size()];

for(int i=0; i<contours.size();i++){
    MatOfPoint2f temp=new MatOfPoint2f(contours.get(i).toArray());

    if(temp.size().height > minEllipseSize && temp.size().height < maxEllipseSize){
        double a = Imgproc.fitEllipse(temp).size.height;
        double b = Imgproc.fitEllipse(temp).size.width;
        if(Math.abs(a - b) < 10)
            minEllipse[i] = Imgproc.fitEllipse(temp);
    }
}
detectedObjects.clear();
for( int i = 0; i< contours.size(); i++ ){
    Scalar color = new Scalar(180, 255, 180);
    if(minEllipse[i] != null){
        detectedObjects.add(new DetectedObject(minEllipse[i].center));
        DetectedObject detectedObj = new DetectedObject(minEllipse[i].center);
        Core.ellipse(source, minEllipse[i], color, 2, 8);
    }
}

}

有问题的迹象：

Answer 1

您可以查看交通标志检测方法here和here的评论。

您会发现有两种方法可以实现这一目标：

1. 基于颜色（就像您现在所做的那样）
2. 基于形状

根据我的经验，我发现基于形状的方法效果很好，因为在不同的光照条件、相机质量等情况下颜色可能会发生很大变化。

由于您需要检测 speed 交通标志（我假设它们始终是圆形的），您可以使用椭圆检测器来查找图像中的所有圆形物体，然后应用一些验证来确定它是否是交通标志与否。

为什么要进行椭圆检测？

好吧，既然您正在寻找透视扭曲的圆圈，那么您实际上是在寻找椭圆。实时椭圆检测是一个有趣（尽管有限）的研究课题。我将向您指出 2 篇具有可用 C++ 源代码的论文（您可以通过本机 JNI 调用在您的应用程序中使用）：

1. L. Libuda，I. Grothues，K.-F。 Kraiss，数字图像中的椭圆检测 使用几何特征的数据，在：J. Braz、A. Ranchordas、H. Arajo、 J. Jorge (Eds.)，计算机图形学和计算机视觉的进展， 计算机和信息科学通信第 4 卷， 施普林格柏林海德堡，2007 年，第 229-239 页。 link, code

2. M. Fornaciari, A. Prati, R. Cucchiara, “用于嵌入式视觉应用的快速有效的椭圆检测器”，模式识别，2014 link, code

---

更新

我尝试了方法 2) 没有任何预处理。可以看到，至少红色边框的标志被检测的很好：

Answer 2

参考你的文字：

这被转换为 HSV，因为您可以看到红色区域看起来相同的颜色 作为附近的树木。这就是我想知道它是红色的，但我不能。

我想向你展示我所做的基本上你所做的结果（简单的操作应该很容易转移到android openCV）：

    // convert to HSV
    cv::Mat hsv;
    cv::cvtColor(input,hsv,CV_BGR2HSV);

    std::vector<cv::Mat> channels;
    cv::split(hsv,channels);

    // opencv = hue values are divided by 2 to fit 8 bit range
    float red1 = 25/2.0f;
    // red has one part at the beginning and one part at the end of the range (I assume 0° to 25° and 335° to 360°)
    float red2 = (360-25)/2.0f;

    // compute both thresholds
    cv::Mat thres1 = channels[0] < red1;
    cv::Mat thres2 = channels[0] > red2;

    // choose some minimum saturation
    cv::Mat saturationThres = channels[1] > 50;

    // combine the results
    cv::Mat redMask = (thres1 | thres2) & saturationThres;

    // display result
    cv::imshow("red", redMask);

这些是我的结果：

根据您的结果，请注意findContours 会更改输入图像，因此如果您在 findContours 之后保存了图像，可能您提取了椭圆但在图像中看不到它。

Answer 3

private void findEllipses(Mat input){
    Mat thresholdOutput = new Mat();
    int thresh = 150;

    List<MatOfPoint> contours = new ArrayList<MatOfPoint>();
    MatOfInt4 hierarchy = new MatOfInt4();

    Imgproc.threshold(source, thresholdOutput, thresh, 255, Imgproc.THRESH_BINARY);
    //Imgproc.Canny(source, thresholdOutput, 50, 180);
    Imgproc.findContours(source, contours, hierarchy, Imgproc.RETR_LIST, Imgproc.CHAIN_APPROX_SIMPLE);
//      source = thresholdOutput;
    RotatedRect minEllipse[] = new RotatedRect[contours.size()];

    for(int i=0; i<contours.size();i++){
        MatOfPoint2f temp=new MatOfPoint2f(contours.get(i).toArray());

        if(temp.size().height > minEllipseSize && temp.size().height < maxEllipseSize){
            double a = Imgproc.fitEllipse(temp).size.height;
            double b = Imgproc.fitEllipse(temp).size.width;
            if(Math.abs(a - b) < 10)
                minEllipse[i] = Imgproc.fitEllipse(temp);
        }
    }

    detectedObjects.clear();
    for( int i = 0; i< contours.size(); i++ ){
        Scalar color = new Scalar(180, 255, 180);
        if(minEllipse[i] != null){
            detectedObjects.add(new DetectedObject(minEllipse[i].center));
            DetectedObject detectedObj = new DetectedObject(minEllipse[i].center);
            Core.ellipse(source, minEllipse[i], color, 2, 8);
        }
    }
}

Answer 4

您是否尝试过使用 opencv ORB？它工作得很好。 我为交通标志（在我的情况下为环形交叉路口）创建了一个 haar 级联，并使用 opencv ORB 来匹配特征并删除任何误报。 对于图像识别，使用了 Google 的 tensorflow，结果非常出色。