Apple Vision – 条码检测不适用于不同颜色的条码

Question

所以，我必须扫描不同颜色的不同条形码。例如，黑色背景上的黄色条形码或白色背景上的黄色条形码。

我对它们被传统的线性和 CCD 条码扫描仪识别没有任何问题。我曾尝试使用 Apple Vision 框架，但它不适用于它们。它们在白色背景的黑色条形码上工作得非常好。

我的条形码都是 Code 128，所以我使用这个代码：

var barcodeObservations: [String : VNBarcodeObservation] = [:]

for barcode in barcodes {

    if let detectedBarcode = barcode as? VNBarcodeObservation {

        if detectedBarcode.symbology == .code128 {
            barcodeObservations[detectedBarcode.payloadStringValue!] = detectedBarcode
        }
    }
}

在 AVCaptureVideoDataOutputSampleBufferDelegate 下的“captureOutput”函数中，我使用它来过滤我的实时提要为黑白，这有助于识别银色背景上的金色条码（第一张图片）：

let context = CIContext(options: nil)

let currentFilter = CIFilter(name: "CIPhotoEffectMono")
currentFilter!.setValue(CIImage(cvImageBuffer: pixelBuffer), forKey: kCIInputImageKey)
let output = currentFilter!.outputImage!

context.render(output, to: pixelBuffer)

如何让 Vision Framework 检测反色条码？

“CIColorInvert”过滤器不起作用。

编辑：这些是条形码：

Answer 1

一点理论：

默认情况下，Apple Vision 和 CoreML 框架旨在将必须通过摄像头看到的条形码检测为 high-contrast black-and-white 图像（具有可预测的通道权重：r=30%、g=59% ，b=11%)。在您的情况下，白色背景上的黄色条形码具有最低对比度，因此没有真正的条形码扫描仪可以读取它，包括用于 Vision 的 rgb 相机馈送。

让我们看看Best and Worst Colors for Barcode Labels的文章告诉我们什么：

条形码难以扫描的一个原因是color，或者更具体地说，缺乏颜色对比。如果背景和条形颜色之间的对比度不够，条码扫描器将很难读取它。

避免以下颜色的组合，因为它们处于低对比度的灰度光谱中：

实际解决方案：

（仅当条形码用漫反射漆打印在平面上时）

尽管如果您想使用 Vision 成功检测彩色背景上的彩色条码，您肯定需要在 Vision 开始识别条码之前应用灰度过滤器为 CVPixelBuffer 流着色.为此使用 AVFoundation 和 CoreImage 框架。

请阅读这三篇文章，了解如何做到这一点：

• Applying Filters to a Capture Stream
• Convert Image to CVPixelBuffer for Machine Learning Swift
• Converting Color Images to Grayscale

附言

金属漆：

用金属涂料（金、银、铜等）印刷的条形码是条形码阅读器最糟糕的情况。这是因为金属漆会捕捉反射并且它具有环境光的镜面反射。所以用金属漆打印的条形码几乎看不懂。