文本文档图像对齐

Question

我正在尝试不同的图像对齐方法来使用计算机视觉对齐包含文本的图像。我已经测试了以下图像对齐方法：

• 概率 Houghlines 变换根据检测到的线对齐图像。 https://medium.com/p/97b61eeffb20 是我的实现。但这并没有像预期的那样帮助我。

• 实现了 SIFT 和 ORB 以根据模板图像检测和对齐图像，但不是对齐所有图像，它有时会扭曲图像。我使用了https://pyimagesearch.com/2020/08/31/image-alignment-and-registration-with-opencv/ 作为参考。

• 边缘检测遵循轮廓检测、角点检测和透视变换。但它不适用于具有不同背景类型的图像。这是参考示例https://pyimagesearch.com/2014/09/01/build-kick-ass-mobile-document-scanner-just-5-minutes/

• 形态学，然后是轮廓检测和掩蔽。参考Crop exactly document paper from image

• 训练了 YOLO（你只看一次）对象检测器来检测文档，但它检测到边界框，我的要求是具有四个图像角的 Quadilaterl，我可以使用透视变换对齐文档。

• 计算偏斜度和去偏斜度。参考：https://github.com/sbrunner/deskew

但我无法使用上述方法完美对齐具有不同背景的文件（身份证件，如公民身份、护照、执照等）图像。

这是一个示例测试图像（由于隐私问题，重要信息被隐藏）。

是否有任何其他图像对齐方法可以通过纠正可用文本的倾斜度来完美对齐文档图像。我的主要重点是使用 OCR 提取信息表单文档，保留文档图像中的信息序列。 谢谢！

Answer 1

对我来说，第三种方法似乎是最有前途的。但正如你所说，杂乱的背景是个问题。我对此有两个想法：

1. 将 GUI 实现为后备解决方案，以便用户可以选择轮廓。

2. 在杂乱的背景下渲染一些官方文档的人工数据集，并训练 CNN 来预测文档的分割图。然后可以使用该图作为边缘检测/轮廓检测的初始化。 This answer 包含两个官方文档图像数据库的链接。也许这些对你有用。

Answer 2

我想你可以查看我的Github。

我在 Fastesr_Image_Pattern_Matching repo 上实现了一个图像对齐算法。

另外，我相信不管背景是什么，只要身份证本身不变，选择整张卡片作为黄金样本，就能解决你的问题。

此外，转换 c++ 代码对您来说可能是个问题，但只需在 python 版本中找到所有对应的函数即可。

以下是效果： OCR usage

Answer 3

你解决问题了吗？ 对解决方案感到好奇..