使用 cv2 / pytesseract 进行数字识别的局部对比度增强

Question

我想使用 pytesseract 从图像中读取数字。图片如下：

数字是点状的，为了能够使用 pytesseract，我需要 白色背景上的黑色连接数字。为此，我考虑使用 erode 和 dilate 作为预处理技术。如您所见，图像相似，但在某些方面却大不相同。例如，第一张图像中的点比背景暗，而第二张图像中的点更白。这意味着，在第一张图像中，我可以使用 erode 获得黑色连接线，在第二张图像中，我可以使用 dilate 获得白色连接线，然后反转颜色。这导致以下结果：

使用适当的阈值，可以使用 pytesseract 轻松读取第一张图像。第二个图像，无论是谁，都比较棘手。问题是，例如“4”的一部分比三个周围的背景更暗。所以一个简单的门槛是行不通的。我需要诸如局部阈值或局部对比度增强之类的东西。有人在这里有想法吗？

编辑：

OTSU、平均阈值和高斯阈值导致以下结果：

Answer 1

您的图像分辨率很低，但您可以尝试一种称为增益除法的方法。这个想法是您尝试构建背景模型，然后通过该模型对每个输入像素进行加权。在图像的大部分时间里，输出增益应该是相对恒定的。

执行增益划分后，您可以尝试通过应用区域过滤器和形态学来改善图像。我只尝试了您的第一张图片，因为它是“最差的”。

这些是获得增益分割图像的步骤：

1. 应用软中值模糊过滤器去除高频噪声。
2. 通过局部最大值获取背景模型。应用一个非常强的close 操作，一个大的structuring element（我使用的是大小为15 的矩形内核）。
3. 通过在每个局部最大像素之间划分255 来执行增益调整。使用每个输入图像像素加权此值。
4. 你应该得到一个很好的图像，其中背景照明几乎标准化，threshold这个图像得到字符的二进制掩码。

现在，您可以通过以下附加步骤来提高图像质量：

1. Threshold 来自 Otsu，但添加了一点偏见。 （不幸的是，这是一个手动步骤，具体取决于输入）。

2. 应用区域过滤器来过滤掉较小的噪点。

让我们看看代码：

import numpy as np
import cv2

# image path
path = "C:/opencvImages/"
fileName = "iA904.png"

# Reading an image in default mode:
inputImage = cv2.imread(path+fileName)

# Remove small noise via median:
filterSize = 5
imageMedian = cv2.medianBlur(inputImage, filterSize)

# Get local maximum:
kernelSize = 15
maxKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (kernelSize, kernelSize))
localMax = cv2.morphologyEx(imageMedian, cv2.MORPH_CLOSE, maxKernel, None, None, 1, cv2.BORDER_REFLECT101)

# Perform gain division
gainDivision = np.where(localMax == 0, 0, (inputImage/localMax))

# Clip the values to [0,255]
gainDivision = np.clip((255 * gainDivision), 0, 255)

# Convert the mat type from float to uint8:
gainDivision = gainDivision.astype("uint8") 

# Convert RGB to grayscale:
grayscaleImage = cv2.cvtColor(gainDivision, cv2.COLOR_BGR2GRAY)

这就是增益分配给你的：

请注意，照明更加平衡。现在，让我们应用一点对比度增强：

# Contrast Enhancement:
grayscaleImage = np.uint8(cv2.normalize(grayscaleImage, grayscaleImage, 0, 255, cv2.NORM_MINMAX))

你明白了，这会在前景和背景之间产生更多的对比：

现在，让我们尝试对该图像进行阈值处理以获得漂亮的二进制掩码。正如我建议的那样，尝试 Otsu 的阈值处理，但在结果中添加（或减去）一点偏差。如前所述，此步骤取决于您输入的质量：

# Threshold via Otsu + bias adjustment:
threshValue, binaryImage = cv2.threshold(grayscaleImage, 0, 255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)

threshValue = 0.9 * threshValue
_, binaryImage = cv2.threshold(grayscaleImage, threshValue, 255, cv2.THRESH_BINARY)

你最终得到这个二进制掩码：

反转这个并过滤掉小斑点。我将area 阈值设置为10 像素：

# Invert image:
binaryImage = 255 - binaryImage

# Perform an area filter on the binary blobs:
componentsNumber, labeledImage, componentStats, componentCentroids = \
cv2.connectedComponentsWithStats(binaryImage, connectivity=4)

# Set the minimum pixels for the area filter:
minArea = 10

# Get the indices/labels of the remaining components based on the area stat
# (skip the background component at index 0)
remainingComponentLabels = [i for i in range(1, componentsNumber) if componentStats[i][4] >= minArea]

# Filter the labeled pixels based on the remaining labels,
# assign pixel intensity to 255 (uint8) for the remaining pixels
filteredImage = np.where(np.isin(labeledImage, remainingComponentLabels) == True, 255, 0).astype("uint8")

这是最终的二进制掩码：

如果您打算将此图像发送到OCR，您可能需要先应用一些形态学。也许closing 尝试加入构成字符的点。还要确保使用与您实际尝试识别的字体接近的字体来训练您的OCR 分类器。这是3rectangularclosing 操作和3 迭代后的（反转）掩码：

编辑：

要得到最后一张图片，按如下方式处理过滤后的输出：

# Set kernel (structuring element) size:
kernelSize = 3

# Set operation iterations:
opIterations = 3

# Get the structuring element:
maxKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (kernelSize, kernelSize))

# Perform closing:
closingImage = cv2.morphologyEx(filteredImage, cv2.MORPH_CLOSE, maxKernel, None, None, opIterations, cv2.BORDER_REFLECT101)

# Invert image to obtain black numbers on white background:
closingImage = 255 - closingImage