不同情况下文档四个角的检测

Question

我尝试了以下两种方法：-

1. 图像到 Mat 的转换

2. 应用高斯模糊

3. 然后canny边缘检测

4. 寻找轮廓

这个方法的问题是：

1. 检测到的轮廓过多
2. 大部分是开放的轮廓
3. 没有检测到我想要检测的内容

然后我改变了方法，在高斯模糊/中值模糊之后尝试了自适应阈值处理，效果好得多，我能够在 50% 的情况下检测到角

我目前面临的问题是页面检测需要对比鲜明的背景，没有任何反射。我认为它对于现实世界的使用来说太理想化了。

这是我需要帮助的地方。甚至在解决方案的方向上也受到高度赞赏，尤其是在 java 中。感谢期待 在这样的对比鲜明的背景下工作得非常好

检测到 4 个角 这张照片很麻烦，因为背景并不是最对比鲜明的

找到初始最大轮廓

更新： 中值模糊没有太大帮助，所以我追查了原因，发现页面边界是零碎检测的，而不是单个轮廓，因此它检测到最大轮廓作为页面边界因此执行了一些形态学操作来关闭相对较小的间隙，由此产生的最大轮廓肯定得到了改善，但它不是最优的。有什么想法可以改善巨大的差距吗？

变形原图

在变形图像中找到的最大轮廓

在理想情况下对图像进行 PS 变形会导致检测到错误的轮廓边界。在变形图像之前可以检查的任何条件也是一个奖励。谢谢

Answer 1

如果你使用这样的方法：

public static RotatedRect getBestRectByArea(List<RotatedRect> boundingRects) {
    RotatedRect bestRect = null;

    if (boundingRects.size() >= 1) {
        RotatedRect boundingRect;
        Point[] vertices = new Point[4];
        Rect rect;
        double maxArea;
        int ixMaxArea = 0;

        // find best rect by area
        boundingRect = boundingRects.get(ixMaxArea);
        boundingRect.points(vertices);
        rect = Imgproc.boundingRect(new MatOfPoint(vertices));
        maxArea = rect.area();

        for (int ix = 1; ix < boundingRects.size(); ix++) {
            boundingRect = boundingRects.get(ix);
            boundingRect.points(vertices);
            rect = Imgproc.boundingRect(new MatOfPoint(vertices));

            if (rect.area() > maxArea) {
                maxArea = rect.area();
                ixMaxArea = ix;
            }
        }

        bestRect = boundingRects.get(ixMaxArea);
    }

    return bestRect;
}

private static Bitmap findROI(Bitmap sourceBitmap) {
    Bitmap roiBitmap = Bitmap.createBitmap(sourceBitmap.getWidth(), sourceBitmap.getHeight(), Bitmap.Config.ARGB_8888);

    Mat sourceMat = new Mat(sourceBitmap.getWidth(), sourceBitmap.getHeight(), CV_8UC3);
    Utils.bitmapToMat(sourceBitmap, sourceMat);

    final Mat mat = new Mat();
    sourceMat.copyTo(mat);

    Imgproc.cvtColor(mat, mat, Imgproc.COLOR_RGB2GRAY);
    Imgproc.threshold(mat, mat, 146, 250, Imgproc.THRESH_BINARY);

    // find contours
    List<MatOfPoint> contours = new ArrayList<>();
    List<RotatedRect> boundingRects = new ArrayList<>();
    Imgproc.findContours(mat, contours, new Mat(), Imgproc.RETR_LIST, Imgproc.CHAIN_APPROX_SIMPLE);

    // find appropriate bounding rectangles
    for (MatOfPoint contour : contours) {
        MatOfPoint2f areaPoints = new MatOfPoint2f(contour.toArray());
        RotatedRect boundingRect = Imgproc.minAreaRect(areaPoints);
        boundingRects.add(boundingRect);
    }

    RotatedRect documentRect = getBestRectByArea(boundingRects);
    if (documentRect != null) {
        Point rect_points[] = new Point[4];
        documentRect.points(rect_points);
        for (int i = 0; i < 4; ++i) {
            Imgproc.line(sourceMat, rect_points[i], rect_points[(i + 1) % 4], ROI_COLOR, ROI_WIDTH);
        }
    }
    Utils.matToBitmap(sourceMat, roiBitmap);
    return roiBitmap;
}

您可以为您的源图像实现如下结果：

或者那个：

如果您调整阈值并应用过滤器，您可以获得更好的结果。

Answer 2

您可以使用以下一项或两项来选择单个轮廓：

• 使用BoundingRect 和ContourArea 评估squareness of each contour。 boundingRect() 返回正交矩形。为了更好地处理任意旋转，请使用 minAreaRect() 返回最佳旋转的矩形。

• 反复使用 Cv.ApproxPoly 以减少到 4 边形状

          var approxIter = 1;
          while (true)
          {
              var approxCurve = Cv.ApproxPoly(largestContour, 0, null, ApproxPolyMethod.DP, approxIter, true);
              var approxCurvePointsTmp = new[] { approxCurve.Select(p => new CvPoint2D32f((int)p.Value.X, (int)p.Value.Y)).ToArray() }.ToArray();
              if (approxCurvePointsTmp[0].Length == 4)
              {
                  corners = approxCurvePointsTmp[0];
                  break;
              }
              else if (approxCurvePointsTmp[0].Length < 4) throw new InvalidOperationException("Failed to decimate corner points");
              approxIter++;
          }
  

但是，如果轮廓检测由于噪声/对比度而为您提供两个单独的轮廓，则这些都无济于事。

我认为可以使用霍夫线变换来帮助检测一条线被分成两个轮廓的情况。

如果是这样，可以对连接轮廓的所有组合重复搜索，以查看是否找到更大/更矩形的匹配。

Answer 3

停止依赖边缘检测，这是宇宙中最糟糕的方法，转而使用某种形式的图像分割。

纸是白色的，背景是对比色的，这是你应该使用的信息。