图像上框架文本的坐标

Question

我想获取图像上框架文本的坐标。段落有细的黑色边框。图片的其余部分包含常用的段落和草图。

这里是一个例子：

你知道我应该在 Python 中使用什么样的算法和图像库来实现这一点吗？谢谢。

Answer 1

检测框架文本的一些想法主要归结为搜索相当大的框/矩形：

• 使用 OpenCV 查找轮廓，使用cv2.approxPolyDP() 多边形近似算法（也称为Ramer–Douglas–Peucker algorithm）分析形状。您还可以检查边界框的纵横比以确保形状是矩形，并检查页面宽度，因为这在您的情况下似乎是一个已知指标。 PyImageSearch 做了这篇很棒的文章：

  • OpenCV shape detection

• 在related question 中，还有一个建议是查看Hough Lines 以检测水平线，以同样的方式轮流检测垂直线。不能 100% 确定这种方法的可靠性。

---

找到框框后，下一步就是检查框框内是否有任何文字。检测文本通常是一个更广泛的问题，有很多方法可以做到这一点，这里有几个例子：

• 申请EAST text detector

• PixelLink

• tesseract（例如通过pytesseract）但不确定这是否不会有太多误报

• 如果这是一个更简单的盒子是否为空的情况，您可以检查内部的平均像素值 - 例如与cv2.countNonZero()。例子：

  • How to identify empty rectangle using OpenCV
  • Count the black pixels using OpenCV

---

其他参考资料：

• ideas on quadrangle/rectangle detection using convolutional neural networks