如何从不同的角度识别车牌上的字母答案

【问题标题】：How to to identify letters on a license plate with varying perspectives如何从不同的角度识别车牌上的字母
【发布时间】：2017-03-16 11:02:48
【问题描述】：

我正在 Matlab 中制作一个脚本，用于接收汽车后部的图像。经过一些图像处理后，我想输出汽车的原始图像，并在汽车牌照周围有一个矩形。以下是我目前所写的内容：

origImg = imread('CAR_IMAGE.jpg');
I = imresize(origImg, [500, NaN]); % easier viewing and edge connecting
G = rgb2gray(I);
M = imgaussfilt(G); % blur to remove some noise
E = edge(M, 'Canny', 0.4);

% I can assume all letters are somewhat upright
RP = regionprops(E, 'PixelIdxList', 'BoundingBox');
W = vertcat(RP.BoundingBox); W = W(:,3); % get the widths of the BBs
H = vertcat(RP.BoundingBox); H = H(:,4); % get the heights of the BBs
FATTIES = W > H; % find the BBs that are more wide than tall
RP = RP(FATTIES);
E(vertcat(RP.PixelIdxList)) = false; % remove more wide than tall regions

D = imdilate(E, strel('disk', 1)); % dilate for easier viewing

figure();
imshowpair(I, D, 'montage'); % display original image and processed image

这里有一些例子：

从这里我不确定如何隔离车牌的字母，特别是在上面的第二个示例中，由于图像的透视，每个字母的面积都减小了。我的第一个想法是获取所有区域的边界框并仅保留周长与面积比“相似”的区域，但这导致在我像 K和上面第四个例子中的V。

如果我应该如何隔离这些字母，我将不胜感激。无需任何代码，欢迎提出任何建议。

【问题讨论】：

标签： matlab image-processing image-segmentation

【解决方案1】：

因此，尽管在这里没有收到关于 SO 的任何答案，但我继续工作，并通过反复试验设法获得了一个工作版本。以下所有代码都在我原来的问题中的代码之后，下面的所有图都来自上面的第一个示例图像。首先，我找到了图像中每个像素行的方差，并将它们绘制成这样：

V = var(D, 0, 2);
X = 1:length(V);
figure();
hold on;    
scatter(X, V);

然后我将一个非常高阶的多项式拟合到这个散点图上，并保存多项式的斜率为零且方差值非常低的值（即紧挨在一行之前或之后的黑色像素行有一些白色):

P = polyfit(X', V, 25);
PV = polyval(P, X);
Z = X(find(PV < 0.03 & abs(gradient(PV)) < 0.0001));
plot(X, PV); % red curve on plot
scatter(Z, zeros(1,length(Z))); % orange circles on x-axis

然后我计算任何连续的Z 值（我的暗行）之间的多项式的积分，并保存积分最大的两个Z 值，我在图中用线条标记：

MAX_INTEG = -1;
MIN_ROW = -1;
MAX_ROW = -1;
for i = 1:(length(Z)-1)
    TEMP_MIN = Z(i);
    TEMP_MAX = Z(i+1);
    Q = polyint(P);
    TEMP_INTEG = diff(polyval(Q, [TEMP_MIN, TEMP_MAX]));

    if (TEMP_INTEG > MAX_INTEG)
        MAX_INTEG = TEMP_INTEG;
        MIN_ROW = TEMP_MIN;
        MAX_ROW = TEMP_MAX;
    end
end
line([MIN_ROW, MIN_ROW], [-0.1, max(V)+0.1]);
line([MAX_ROW, MAX_ROW], [-0.1, max(V)+0.1]);
hold off;

由于这些行的 X 值对应于原始图像中的行号，我可以在 MIN_ROW 和 MAX_ROW 之间裁剪图像：

我现在对像素列重复上述步骤，裁剪并删除任何多余的黑色列，以得到识别出的板块：

然后，我使用 Matlab 的 xcorr2 在此裁剪图像和边缘图像 D 之间执行 2D 互相关，以在原始图像中定位车牌。找到位置后，我只需在发现的盘子周围画一个矩形，如下所示：

【讨论】：