在图像中查找拼字板的角点

Question

我正在尝试提取放在拼字板上的瓷砖（字母）。目标是识别/阅读板上所有可能的单词。

示例图片 -

理想情况下，我想找到拼字板的四个角，并应用透视变换，以进行进一步处理。

透视变换后 -

我使用的算法如下 -

1. 将自适应阈值应用于拼字游戏板的灰度图像。

2. 扩张/关闭图像，在给定图像中找到最大轮廓，然后找到凸包，并完全填充凸包所包围的区域。

3. 找到结果图像的边界点（轮廓），然后应用Contour approximation得到角点，然后应用透视变换

找到角点 -

这种方法适用于此类图像。但是，正如您所看到的，许多方板都有一个底座，该底座在顶部和底部都是弯曲的。有时，底座是一个大圆形板。有了这些图像，我的方法就失败了。示例图像和输出 -

圆形底座板：

使用上述方法找到的点：

我可以发布更多此类有问题的图片，但这张图片应该让您了解我正在处理的问题。我的问题是——

如果图像中还存在圆形板，我如何找到矩形板？

我想说的几点 -

1. 我尝试使用霍夫线来检测图像中的线条，找到最大的垂直线，然后找到它们的交点来检测角点。不幸的是，由于瓷砖，所有线路似乎都被扭曲/断开，因此我的尝试失败了。

2. 我还尝试将轮廓近似应用于图像中找到的所有轮廓（我假设大矩形也将是轮廓），但该方法也失败了。

3. 我已经在 openCV-python 中实现了该解决方案。由于方法在这里很重要，而且问题变得有点太长了，所以我没有发布相关代码。

如果需要，我也愿意分享更多此类有问题的图像。 谢谢！

EDIT1 @Silencer 的回答对我识别图像中的字母很有帮助，但我想准确地找到图像中单词的位置。因此，我觉得识别行和列是必要的，并且只有在对板应用透视变换时才能做到这一点。

Answer 1

我写了一篇关于MSER文本检测的答案：

Trying to Plot OpenCV's MSER regions using matplotlib

代码在您的图像上生成以下结果。

你可以试试。

Answer 2

我认为@silencer 已经给出了非常有前景的解决方案。

但是要执行透视变换，正如您所提到的，您已经尝试使用霍夫线来找到最大的矩形，但由于存在瓷砖而失败。

鉴于您的大型图像数据集可能超过 1000 张图像，您还可以尝试基于深度学习的方法，在该方法中，您可以使用图像作为输入和相应的矩形边界点坐标作为输出来训练模型。