围绕一个有噪声边的矩形找到一个已知大小的旋转边界框答案

【问题标题】：Find a rotated bounding box of known size around a rectangle with noisy sides围绕一个有噪声边的矩形找到一个已知大小的旋转边界框
【发布时间】：2019-08-01 12:29:27
【问题描述】：

我试图在一个不太完美的矩形二值化图像周围找到一个旋转的边界框。瑕疵总是不同的：有时它是空心的，有时里面有东西，有时其中一个边缘缺少一块，有时边缘某处有一个额外的块，它们总是以随机量轻微旋转，但大小并且预期边界框的形状总是以像素为单位的绝对值几乎相同。

以下是我作为输入的一些示例（调整大小以更好地适应帖子）：

理想情况下，我想在白色矩形的外部找到一个边界框（尽管我主要对边缘感兴趣），如下所示：

（通过反转其中一个空心组件，获得最大的连接组件，并获得强制大小的旋转矩形）

到目前为止，我已经尝试过只获得一个旋转的矩形并在之后强制一个形状，这几乎适用于所有情况，除非沿着其中一个边缘有一个额外的块。我尝试让连接的组件隔离它的一部分并在它们周围设置边界框，只要它们是空心的，这适用于每种情况。我尝试过扩张和侵蚀图像，获取轮廓和霍夫线以尝试仅找到四个角点，但我也没有运气。我也在网上寻找任何有用的东西都无济于事。

任何帮助或想法将不胜感激。

【问题讨论】：

所以你想找到的矩形是里面的大黑色？（也许你可以在示例中手动绘制所需的边界框）当您说预期边界框的大小和形状始终相同时，是否意味着您已经知道了？您的图片大小（高度）不同 - 这是否意味着要查找的矩形大小始终与图片大小绝对或相对相同？
无论是里面的还是外面的白色都可以，反正我最感兴趣的是边缘。我缩小了图片，以便它们更适合帖子，但它们每次都应该相对接近相同的绝对大小（以像素为单位）。我将尝试在帖子中添加该内容和预期结果的图片。

标签： python opencv

【解决方案1】：

我的解决方案包括两部分：

通过找到最大的连通分量来找到（直立的）大白色矩形的边界框，填充其中的所有孔，找到外部垂直和水平线（霍夫），通过取最小/最大 x/y 得到边界框坐标。
将一个给定大小的（填充的）矩形与步骤 1 中边界框中心的中心以不同角度匹配，打印出最佳匹配结果。

下面是一个演示这种方法的简单程序。开头的参数（文件名、已知矩形的大小、角度搜索范围）通常会从命令行传入。

    import cv2
    import numpy as np

    # arguments
    file = '1.png'
    w0, h0 = 425, 630  # size of known rectangle
    ang_range = 1      # posible range (+/-) of angle in degrees

    # read image
    img = cv2.imread(file, cv2.IMREAD_GRAYSCALE)
    h, w = img.shape

    # find biggest connceted components
    nb_components, output, stats, _ = cv2.connectedComponentsWithStats(img, connectivity=4)
    sizes = stats[:, -1]
    max_label, max_size = 1, sizes[1]
    for i in range(2, nb_components):
        if sizes[i] > max_size:
            max_label = i
            max_size = sizes[i]
    img2 = np.zeros(img.shape, np.uint8)
    img2[output == max_label] = 128

    # fill holes
    contours, _ = cv2.findContours(img2, cv2.RETR_CCOMP, cv2.CHAIN_APPROX_SIMPLE)
    for contour in contours:
        cv2.drawContours(img2, [contour], 0, 128, -1)

    # find lines
    edges = cv2.Canny(img2, 50, 150, apertureSize = 3)
    lines = cv2.HoughLinesP(edges, 1, np.pi/180, 40)

    # find bounding lines
    xmax = ymax = 0
    xmin, ymin = w-1, h-1
    for i in range(lines.shape[0]):
        x1 = lines[i][0][0]
        y1 = lines[i][0][1]
        x2 = lines[i][0][2]
        y2 = lines[i][0][3]
        cv2.line(img2, (x1,y1), (x2,y2), 255, 2, cv2.LINE_AA)
        if abs(x1-x2) < abs(y1-y2):
            # vertical line
            xmin = min(xmin,x1,x2)
            xmax = max(xmax,x1,x2)
        else:
            # horizcontal line
            ymin = min(ymin,y1,y2)
            ymax = max(ymax,y1,y2)
    cv2.rectangle(img2, (xmin,ymin), (xmax,ymax), 255, 1, cv2.LINE_AA)
    cv2.imwrite(file.replace('.png', '_intermediate.png'), img2)

    # rectangle of known size centered at bounding box
    xc = (xmax + xmin) / 2
    yc = (ymax + ymin) / 2
    box = np.zeros(img.shape, np.uint8)
    box[int(yc-h0/2):int(yc+h0/2), int(xc-w0/2):int(xc+w0/2)] = 255

    # find best match of this rectangle at different angles
    smax = angmax = 0
    for ang in np.linspace(-ang_range, ang_range, 20):
       rm = cv2.getRotationMatrix2D((xc,yc), ang, 1)
       rotbox = cv2.warpAffine(box, rm, (w,h))
       s = cv2.countNonZero(cv2.bitwise_and(rotbox, img))
       if s > smax:
           smax = s
           angmax = ang

    # output and visualize result
    def draw_rotated_rect(img, size, center, angle, color, thickness):
        rm = cv2.getRotationMatrix2D(center, angle, 1)
        p0 = np.dot(rm,(xc-w0/2, yc-h0/2,1))
        p1 = np.dot(rm,(xc-w0/2, yc+h0/2,1))
        p2 = np.dot(rm,(xc+w0/2, yc+h0/2,1))
        p3 = np.dot(rm,(xc+w0/2, yc-h0/2,1))
        pnts = np.int32(np.vstack([p0,p1,p2,p3]) + 0.5).reshape(-1,4,2)
        cv2.polylines(img, pnts, True, color, thickness, cv2.LINE_AA)
        print(f'{file}: edges {pnts[0].tolist()}, angle = {angle:.2f}°')

    res = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR)
    draw_rotated_rect(res, (w0,h0), (xc,yc), angmax, (0,255,0), 2)
    cv2.imwrite(file.replace('.png', '_result.png'), res)

显示其工作原理的中间结果（灰色 = 填充的最大连通分量，粗白线 = 霍夫线，细白色矩形 = 竖直边界框）：
（查看完整大小的图片，请单击它们然后去掉文件扩展名前最后的m）

结果的可视化（绿色 = 已知大小的旋转矩形）：

结果（最终应该被钳制到[0，图像大小），-1是由于浮点旋转）：

1.png: edges [[17, -1], [17, 629], [442, 629], [442, -1]], angle = 0.00°
2.png: edges [[7, 18], [9, 648], [434, 646], [432, 16]], angle = 0.26°
3.png: edges [[38, 25], [36, 655], [461, 657], [463, 27]], angle = -0.26°
4.png: edges [[36, 14], [28, 644], [453, 650], [461, 20]], angle = -0.79°

正如我们在图 3 中看到的，匹配并不完美。这可能是由于示例图像被缩小到不同的大小，当然我不知道已知矩形的大小，所以我只是为演示假设了一个合适的值。
如果真实数据也出现这种情况，您可能不仅要改变角度以找到最佳匹配，还要将匹配框向上/向下和向右/向左移动几个像素。有关详细信息，请参见 Dawson-Howe: A Practical Introduction to Computer Vision with OpenCV 的第 8.1 节。

【讨论】：