检测图像中的乐高底板

Question

我希望我的代码在所附图像中找到方形乐高板的角。

我还想找到它的维度，即两个维度中“blops”的数量（附图中为 48x48）。

我目前正在研究检测单个“斑点”，到目前为止的结果非常好：模糊、自适应阈值、findContours 和基于区域的选择的组合找到了在第二张附加图像中呈现的轮廓（颜色是随机的)。

我现在正在寻找一种算法来找到由这些轮廓（或它们的中点）迷失地表示的“网格”，但我缺乏 google fu。有任何想法吗？

（也非常欢迎提出不同方法的建议。）

（示例图像显示了放置在角落的砖块 - 如果有帮助，算法可以预期这一点。）

（示例图像具有相当狂野的背景。如果可能的话，我更愿意处理它。）

2016 年 7 月 8 日更新：我正在尝试编写一种算法来查找形成线条的相邻轮廓的条纹。算法应该能够找到其中的一些，并从中推断出整个盘子的形式，即使是透视图。好用会更新...

2017 年 12 月更新：上述算法有点工作，尽管它有点太不可预测了。我也遇到了透视问题（添加“厚”乐高积木会改变表面）和颜色识别（阴影、相机特性等）。这项工作目前处于搁置状态。如果我恢复它，我将尝试在板正上方固定相机位置和一致的灯光。

Answer 1

这是一种使用颜色阈值的潜在方法。这个想法是将图像转换为 HSV 格式，然后使用下限和上限的颜色阈值，假设底板为灰色。这会给我们一个蒙版图像。从这里我们变形打开以去除噪声，找到轮廓，并排序最大的轮廓。接下来，我们获得旋转的边界框坐标并将其绘制到新的空白蒙版上。最后我们用输入图像按位和掩码得到我们的结果。要查找角坐标，我们可以使用cv2.goodFeaturesToTrack() 查找蒙版上的点。查看how to find accurate corner positions of a distorted rectangle from blurry image in python? 和Shi-Tomasi Corner Detector & Good Features to Track 了解更多详情

---

这是每个步骤的可视化：

我们加载图像，转换为 HSV 格式，定义下限/上限，并使用 cv2.inRange() 执行颜色阈值处理

import cv2
import numpy as np

# Load image, convert to HSV, and color threshold
image = cv2.imread('1.png')
blank_mask = np.zeros(image.shape, dtype=np.uint8)
original = image.copy()
hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
lower = np.array([0, 0, 109])
upper = np.array([179, 36, 255])
mask = cv2.inRange(hsv, lower, upper)

接下来，我们使用cv2.getStructuringElement() 创建一个矩形内核，并使用cv2.morphologyEx() 执行形态学运算。此步骤会去除小颗粒的噪音。

# Morph open to remove noise
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
opening = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations=1)

从这里我们使用cv2.findContours()在蒙版上找到轮廓，并使用轮廓区域进行过滤以获得最大轮廓。然后我们使用cv2.minAreaRect() 和cv2.boxPoints() 获得旋转的边界框坐标，然后使用cv2.fillPoly() 将其绘制到新的空白蒙版上。这一步为我们提供了基板的“完美”外轮廓。这是检测到的以绿色突出显示的外部轮廓和生成的蒙版。

# Find contours and sort for largest contour
cnts = cv2.findContours(opening, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[0]

# Obtain rotated bounding box and draw onto a blank mask
rect = cv2.minAreaRect(cnts)
box = cv2.boxPoints(rect)
box = np.int0(box)
cv2.drawContours(image,[box],0,(36,255,12),3)
cv2.fillPoly(blank_mask, [box], (255,255,255))

最后我们用我们的原始输入图像按位和掩码得到我们的结果。根据您的需要，您可以将背景更改为黑色或白色。

# Bitwise-and mask with input image 
blank_mask = cv2.cvtColor(blank_mask, cv2.COLOR_BGR2GRAY)
result = cv2.bitwise_and(original, original, mask=blank_mask)
# result[blank_mask==0] = (255,255,255) # Color background white

要检测角坐标，我们可以使用cv2.goodFeaturesToTrack()。这是检测到的以紫色突出显示的角：

坐标：

(91.0, 525.0)
(463.0, 497.0)
(64.0, 152.0)
(436.0, 125.0)

# Detect corners
corners = cv2.goodFeaturesToTrack(blank_mask, maxCorners=4, qualityLevel=0.5, minDistance=150)
for corner in corners:
    x,y = corner.ravel()
    cv2.circle(image,(x,y),8,(155,20,255),-1)
    print("({}, {})".format(x,y))

完整代码

import cv2
import numpy as np

# Load image, convert to HSV, and color threshold
image = cv2.imread('1.png')
blank_mask = np.zeros(image.shape, dtype=np.uint8)
original = image.copy()
hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
lower = np.array([0, 0, 109])
upper = np.array([179, 36, 255])
mask = cv2.inRange(hsv, lower, upper)

# Morph open to remove noise
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
opening = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations=1)

# Find contours and sort for largest contour
cnts = cv2.findContours(opening, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[0]

# Obtain rotated bounding box and draw onto a blank mask
rect = cv2.minAreaRect(cnts)
box = cv2.boxPoints(rect)
box = np.int0(box)
cv2.drawContours(image,[box],0,(36,255,12),3)
cv2.fillPoly(blank_mask, [box], (255,255,255))

# Bitwise-and mask with input image 
blank_mask = cv2.cvtColor(blank_mask, cv2.COLOR_BGR2GRAY)
result = cv2.bitwise_and(original, original, mask=blank_mask)
result[blank_mask==0] = (255,255,255) # Color background white

# Detect corners
corners = cv2.goodFeaturesToTrack(blank_mask, maxCorners=4, qualityLevel=0.5, minDistance=150)
for corner in corners:
    x,y = corner.ravel()
    cv2.circle(image,(x,y),8,(155,20,255),-1)
    print("({}, {})".format(x,y))

cv2.imwrite('mask.png', mask)
cv2.imwrite('opening.png', opening)
cv2.imwrite('blank_mask.png', blank_mask)
cv2.imwrite('image.png', image)
cv2.imwrite('result.png', result)
cv2.waitKey()