清理扫描不良的乐谱的工作流程

Question

我正在寻找一种工作流程，可以清理（并可能纠正）旧的和扫描不良的乐谱图像（如下图所示）。

我尝试使用去噪、霍夫过滤器、imagemagick 几何过滤器，但我正在努力确定去除扫描仪噪声/偏差的过滤器系列。

Answer 1

只是一些简单的想法：

1. 去除灰度噪音：做一个低通滤波器（暗），因为音乐比很多噪音更暗。剩余的噪音主要是垂直线。

2. 旋转图像：对图像的每一列求和灰度值。您将在该列中获得一个具有总像素亮度的向量。使用梯度下降或搜索图像的旋转（在某些范围内，如 +/-15 度旋转）以最大化该向量的方差。这里的想法是垂直噪声线表示垂直对齐，因此我们希望图像的列与这些噪声线对齐（= 最大化方差）。

3. 去除垂直线噪声：旋转后，取每列的中值。像素与该中值暗度的距离（平方差）越大，我们就越确信它是其真实颜色（例如，当垂直噪声为灰色时，纯白色或黑色像素）。由于噪声是非白色的，您可以尝试将这个距离与中值的白度混合以获得替代的置信度指标。理想情况下，我认为您将在这里训练一些 7x7x2 卷积滤波器（2 个通道是像素值和与中值的距离）来估计像素的真实值。那将是最简单的机器学习方法，而不是使用一些成熟的 NN。但是，鉴于您缺乏训练数据，我们将不得不提出自己的启发式方法来确定真正的像素值是什么。您可能需要尝试一下，但我认为这可能会起作用：

   • 设置一些置信度阈值；高于该阈值，我们按原样取值。低于阈值，设置为白色（整个页面的二进制预期像素值）。
   • 对于低于阈值的所有值，将 +/-2 像素 L1 距离（例如 5x5 卷积）内的最大置信度值作为该像素的值。似乎特征至少相隔 2 个像素，但对于较低的分辨率，可能需要调整窗口大小。由于白色像素最终可能总体上更加自信，因此您可以尝试优先考虑较暗的像素（以某种方式提高他们的自信）。
   • 限制图像对比度，并可能运行另一个低通滤波器。