从图像中识别数字

Question

我正在尝试编写一个应用程序来查找图像中的数字并将它们相加。

如何识别图片中的书写数字？

图像中有很多框，我需要获取左侧的数字并将它们相加得出总数。我怎样才能做到这一点？

编辑：我在图像上做了一个 java tesseract ocr，但我没有得到任何正确的结果。我该如何训练它？

还有

我做了一个边缘检测我得到了这个：

Answer 1

您很可能需要执行以下操作：

1. 在整个页面上应用Hough Transform 算法，这应该会产生一系列页面部分。

2. 对于您获得的每个部分，再次应用它。如果当前部分产生了 2 个元素，那么您应该处理类似于上面的矩形。

3. 完成后，您可以使用 OCR 提取数值。

在这种情况下，我建议您查看JavaCV（OpenCV Java Wrapper），它可以让您处理 Hough 变换部分。然后你需要类似于Tess4j（Tesseract Java Wrapper）的东西，它应该允许你提取你想要的数字。

作为额外说明，为了减少误报的数量，您可能需要执行以下操作：

1. 如果您确定某些坐标永远不会包含您想要的数据，请裁剪图像。这应该给你一个更小的图片来处理。

2. 将图像更改为灰度可能是明智的（假设您使用的是彩色图像）。颜色会对 OCR 解析图像的能力产生负面影响。

编辑：根据您的评论，给出如下内容：

+------------------------------+
|                   +---+---+  |
|                   |   |   |  |
|                   +---+---+  |
|                   +---+---+  |
|                   |   |   |  |
|                   +---+---+  |
|                   +---+---+  |
|                   |   |   |  |
|                   +---+---+  |
|                   +---+---+  |
|                   |   |   |  |
|                   +---+---+  |
+------------------------------+

您将裁剪图像，以便通过裁剪图像删除没有相关数据的区域（左侧部分），您会得到如下结果：

+-------------+
|+---+---+    |
||   |   |    | 
|+---+---+    |
|+---+---+    |
||   |   |    |
|+---+---+    |
|+---+---+    |
||   |   |    |
|+---+---+    |
|+---+---+    |
||   |   |    |
|+---+---+    |
+-------------+

我们的想法是运行 Hough 变换，这样您就可以获得包含如下矩形的页面片段：

+---+---+    
|   |   |     
+---+---+ 

然后您将再次应用霍夫变换并最终得到两个片段，然后您取左边的片段。

一旦你有了左段，你就可以应用 OCR。

您可以尝试事先应用 OCR，但充其量，OCR 将识别两个数字值，无论是写入的还是输入的，据我所知，这不是您所追求的.

此外，描绘矩形的额外线条可能会使 OCR 偏离轨道，并使其产生不良结果。

Answer 2

我建议结合 2 个基本的神经网络组件：

• 感知器
• 自组织地图 (SOM)

感知器是一个非常简单的神经网络组件。它需要多个输入并产生 1 个输出。您需要通过输入和输出来训练它。这是一个自学组件。

它内部有一组权重因子，用于计算输出。这些权重因素在训练过程中得到完善。感知器的美妙之处在于，（通过适当的训练）它可以处理以前从未见过的数据。

您可以通过将感知器安排在多层网络中来使其更强大，这意味着一个感知器的输出充当另一个感知器的输入。

在您的情况下，您应该使用 10 个感知器网络，每个数值 (0-9) 一个。

但为了使用感知器，您需要一个数字输入数组。所以首先你需要一些东西来将你的视觉图像转换为数值。 Self Organized Map (SOM) 使用互连点的网格。这些点应该被图像的像素所吸引（见下文）

这两个组件可以很好地协同工作。 SOM 有固定数量的网格节点，而您的感知器需要固定数量的输入。

这两个组件都非常受欢迎，并且可以在MATLAB 等教育软件包中使用。

更新：2018 年 6 月 1 日 - 张量流

This video tutorial 演示了如何使用 Google 的 TensorFlow 框架在 python 中完成它。 （点击here获取书面教程）。

Answer 3

神经网络是解决这类问题的典型方法。

在这种情况下，您可以将每个手写数字视为像素矩阵。如果您使用与您要识别的图像大小相同的图像来训练神经网络，您可能会得到更好的结果。

您可以使用不同的手写数字图像来训练神经网络。训练完成后，如果通过手写数字的图像进行识别，它会返回最相似的数字。

当然，训练图像的质量是获得良好结果的关键因素。

Answer 4

在大多数图像处理问题中，您希望尽可能多地利用您拥有的信息。鉴于图像，我们可以做出一些假设（可能更多）：

1. 数字周围的方框是一致的。
2. 右侧的数字始终为 8（或提前知道）
3. 左边的数字始终是数字
4. 左边的数字始终是同一个人的笔迹和书写

然后我们可以使用这些假设来简化问题：

1. 您可以使用更简单的方法来查找数字（模板匹配）。当你有了匹配的坐标后，你可以创建一个子图像并减去模板，只剩下你想给 OCR 引擎的数字。 http://docs.opencv.org/doc/tutorials/imgproc/histograms/template_matching/template_matching.html.
2. 如果您知道预期的数字，那么您可以从其他来源获取这些数字，而不会冒 OCR 错误的风险。您甚至可以将 8 作为模板的一部分。
3. 您可以在此基础上大大减少词汇量（可能的 OCR 结果），从而提高 OCR 引擎的准确性。 TesseractOCR 有一个白名单设置来执行此操作（请参阅https://code.google.com/p/tesseract-ocr/wiki/FAQ#How_do_I_recognize_only_digits?）。
4. OCR 引擎难以识别手写内容（它们适用于印刷字体）。但是，您可以训练 OCR 引擎识别作者的“字体”。 （见http://michaeljaylissner.com/posts/2012/02/11/adding-new-fonts-to-tesseract-3-ocr-engine/）

不过，要点是使用任何可以将问题简化为更小、更简单的子问题的假设。然后看看有哪些工具可以单独解决这些子问题。

如果您必须开始担心现实世界，也很难做出假设，例如如果这些将被扫描，您将需要考虑“模板”或数字的倾斜或旋转。

Answer 5

放弃吧。真的。作为人类，我不能确定第三个字母是“1”还是“7”。人类在破译方面做得更好，所以计算机会因此而失败。 “1”和“7”只是一种有问题的情况，“8”和“6”、“3”和“9”也很难破译/区分。您的错误报价将 >10%。 如果所有的笔迹都来自同一个人，您可以尝试为此训练 OCR，但即使在这种情况下，您仍然会有大约 3% 的错误。可能是您的用例很特殊，但这种错误数量通常会禁止任何类型的自动处理。 如果我真的需要自动化，我会研究 Mechanical Turk。

Answer 6

这是一个简单的方法：

1. 获取二值图像。加载图像，转换为灰度，然后Otsu的阈值，得到像素范围为[0...255]的1通道二值图像。

   李>

2. 检测水平和垂直线条。创建水平和垂直structuring elements，然后通过执行morphological operations在蒙版上绘制线条。

3. 删除水平线和垂直线。 使用bitwise_or 操作组合水平和垂直蒙版，然后使用bitwise_and 操作删除线。

4. 执行 OCR。 应用轻微的 Gaussian blur，然后使用 Pytesseract 进行 OCR。

---

这是每个步骤的可视化：

输入图像->二值图像->水平蒙版->垂直蒙版

组合蒙版-> 结果-> 应用轻微模糊

OCR 的结果

38
18
78

我使用 Python 实现了它，但您可以使用 Java 调整类似的方法

import cv2
import pytesseract

pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

# Load image, grayscale, Otsu's threshold
image = cv2.imread('1.png')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Detect horizontal lines
horizontal_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (25,1))
horizontal = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, horizontal_kernel, iterations=1)

# Detect vertical lines
vertical_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1,25))
vertical = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, vertical_kernel, iterations=1)

# Remove horizontal and vertical lines
lines = cv2.bitwise_or(horizontal, vertical)
result = cv2.bitwise_not(image, image, mask=lines)

# Perform OCR with Pytesseract
result = cv2.GaussianBlur(result, (3,3), 0)
data = pytesseract.image_to_string(result, lang='eng', config='--psm 6')
print(data)

# Display
cv2.imshow('thresh', thresh)
cv2.imshow('horizontal', horizontal)
cv2.imshow('vertical', vertical)
cv2.imshow('lines', lines)
cv2.imshow('result', result)
cv2.waitKey()