二值（像素化）图像中的基本模式识别

Question

这是一种图像的裁剪示例（大约11x9 像素）（最终实际上都是大小28x28，但存储在内存中，扁平为784-components 数组）我会尝试将算法应用于：

基本上，我希望能够识别何时出现此形状（红线用于强调像素的分离，而周围的黑色边框用于更好地勾勒出StackOverflow的白色背景下的图像） ：

它的方向无关紧要：必须在任何可能的表示（旋转和对称）中沿水平和垂直轴检测它（因此，例如，不应考虑 45° 旋转，也不应考虑对角对称：例如，仅考虑 90°、180° 和 270° 旋转）。

在我第一次展示的那张图片上可以找到两种解决方案，但只需要找到一个（忽略白色区域周围的灰色模糊）：

以另一个示例为例（这也表明图像中的白色图形并不总是被黑色像素完全包围）：

该函数应该返回 True，因为该形状存在：

现在，显然有一个简单的解决方案：

使用诸如pattern = [[1,0,0,0],[1,1,1,1]] 之类的变量，生成其变体，然后沿图像滑动所有变体，直到找到完全匹配的位置，此时整个过程停止并返回True。

然而，在最坏的情况下，这将占用8*(28-2)*(28-4)*(2*4)，这对于单个图像来说大约是 40000 次操作，这似乎有点矫枉过正（如果我的快速计算正确的话)。

我猜想使这种天真的方法变得更好的一种方法是首先扫描图像，直到找到第一个白色像素，然后开始寻找比该点早 4 行和 4 列的图案，但即使这样似乎也不够好。

有什么想法吗？也许这种功能已经在某些库中实现了？ 我正在寻找一种能够击败我幼稚方法的实现或算法。

作为旁注，虽然是一种 hack，但我猜这是可以转移到 GPU 上的问题，但我对此没有太多经验。 虽然这不是我想要的主要内容，但如果您提供答案，请随时添加与 GPU 相关的注释。

---

编辑：

我最终实现了接受的答案。你可以在this Gist看到我的代码。

Answer 1

如果您有太多操作，请考虑如何减少操作。

对于这个问题，我会使用图像积分。

如果你在图像上卷积一个求和内核（这是 fft 域中的一个非常快速的操作，只有 conv2,imfilter），你知道只有积分等于 5 的位置（在你的情况下）是可能的模式匹配位置。检查那些（即使是你的 4 次旋转）在计算上应该非常快。您的示例图片中符合此模式的位置不能超过 50 个。

我的 python 不是很流利，但这是你在 MATLAB 中的第一张图片的概念证明，我相信翻译这段代码应该不是问题。

% get the same image you have (imgur upscaled it and made it RGB)
I=rgb2gray(imread('https://i.stack.imgur.com/l3u4A.png'));
I=imresize(I,[9 11]);
I=double(I>50);

% Integral filter definition (with your desired size)
h=ones(3,4);

% horizontal and vertical filter (because your filter is  not square)
Ifiltv=imfilter(I,h);
Ifilth=imfilter(I,h');
% find the locations where integral is exactly the value you want
[xh,yh]=find(Ifilth==5);
[xv,yv]=find(Ifiltv==5);

% this is just plotting, for completeness
figure()
imshow(I,[]);
hold on
plot(yh,xh,'r.');
plot(yv,xv,'r.');

这导致要检查 14 个位置。我的标准计算机计算两个图像积分平均需要 230ns，我称之为 fast。

GPU 计算也不是 hack :D。这是解决一大堆问题的方法，因为它们拥有巨大的计算能力。例如。 GPU 中的卷积速度非常快。

Answer 2

您正在实现的运算是数学形态学中称为hit and miss 的运算符。

它可以作为两个腐蚀的组合非常有效地实现。如果您要检测的形状可以分解为几个简单的几何形状（尤其是矩形可以快速计算），那么操作员的效率会更高。

您会在大多数图像处理库中发现非常有效的侵蚀，例如尝试 OpenCV。 OpenCV 还有一个命中和未命中运算符，here is a tutorial for how to use it。

---

作为预期输出的示例，我生成了一个简单的测试图像（左），应用了一个命中和未命中运算符，其模板与图像中的一个位置完全匹配（中），并再次使用了一个模板不匹配任何地方（右）：

我是在 MATLAB 而不是 Python 中完成的，因为我已经打开了它，而且它对我来说最容易使用。这是代码：

se = [1,1,1,1      % Defines the template
      0,0,0,1];
img = [0,0,0,0,0,0 % Defines the test image
       0,1,1,1,1,0
       0,0,0,0,1,0
       0,0,0,0,0,0
       0,0,0,0,0,0
       0,0,0,0,0,0];
img = dip_image(img,'bin');

res1 = hitmiss(img,se);
res2 = hitmiss(img,rot90(se,2));

% Quick-and-dirty display
h = dipshow([img,res1,res2]);
diptruesize(h,'tight',3000)
hold on
plot([5.5,5.5],[-0.5,5.5],'r-')
plot([11.5,11.5],[-0.5,5.5],'r-')

上面的代码使用了我在DIPimage 中实现的命中和未命中操作符。在PyDIP 和HitAndMiss 中的Python 中也提供了相同的实现（PyDIP 还没有二进制版本，您需要自己编译）：

import PyDIP as dip
# ...
res = dip.HitAndMiss(img, se)