CoreML 模型在 coremltools 和 Xcode 之间产生不同的结果

Question

我创建了一个基于自定义 PyTorch CNN 模型的 .mlmodel 文件，方法是先将 PyTorch 模型转换为 ONNX，然后使用 onnx_coreml 转换为 CoreML。使用虚拟数据（一个 3 x 224 x 224 数组，其中每个值都是 1.0），我验证了 PyTorch 模型、ONNX 模型（使用 Caffe 后端运行）和 CoreML 模型（使用 coremltools）都产生相同的结果.

但是，当我将相同的模型导入 Xcode 并在手机上运行时，即使使用虚拟数据，模型输出也不匹配。

我使用的设备似乎没有什么不同（我在 iPhone 上尝试过，从 XS Max 一直到 SE）。全部运行 iOS 12.2，并使用 Xcode 10.2.1

这是我用来创建虚拟数据并从我的模型中获得预测的代码（在 Swift 中）：

let pixelsWide = Int(newImg.size.width)
let pixelsHigh = Int(newImg.size.height)
var pixelMLArray = try MLMultiArray(shape: [1, 1, 3, 224, 224], dataType: .float32)
for y in 0 ..< pixelsHigh {
    for x in 0 ..< pixelsWide {
        pixelMLArray[[0,0,0,x,y] as [NSNumber]] = 1.0
        pixelMLArray[[0,0,1,x,y] as [NSNumber]] = 1.0
        pixelMLArray[[0,0,2,x,y] as [NSNumber]] = 1.0
    }
}

do {
    let convModel = CNNModel()
    var thisConvOutput = try convModel.prediction(_0: pixelMLArray)._1161
} catch { print("Error") }

我已经验证输入和输出标签是正确的，等等等等。 这运行顺利，但是 thisConvOutput 的前三个值是： [0.000139, 0.000219, 0.003607]

为了比较，运行 PyTorch 模型的前三个值是： [0.0002148、0.00032246 和 0.0035419]

以及使用 coremltools 的完全相同的 .mlmodel： [0.00021577, 0.00031877, 0.0035404]

长话短说，没有使用 Swift 的经验，我想知道我是否在初始化/填充我的“pixelMLArray”以在我的设备上通过 Xcode 中的模型运行它时做一些愚蠢的事情，因为 .mlmodel 来自coremltools 非常接近我使用 PyTorch 得到的结果。有人可以帮忙吗？

Answer 1

您在设备上的 Core ML 输出：[0.000139, 0.000219, 0.003607]

coremltools 的输出：[0.00021577, 0.00031877, 0.0035404]

请注意，这些数字非常小。当 Core ML 在 GPU 上运行您的模型时（也可能在神经引擎上，不确定），它使用 16 位浮点。它们的精度比 32 位浮点小得多。

注意 0.000139 和 0.00021577 不是同一个数字，但它们都在 1e-4 左右。这低于 16 位浮点数的精度限制。但是 0.003607 和 0.0035404 几乎是相同的数字，因为它们大约大 10 倍，因此不会损失太多精度。

尝试在使用 CPU 的设备上运行您的 Core ML 模型（您可以在实例化模型时为此传递一个选项）。您可能会看到您现在得到的结果与 coremltools 版本更接近（并且可能相同），因为 CPU 上的 Core ML 使用 32 位浮点数。

结论：从您目前所展示的内容来看，您的模型看起来像预期的那样工作，考虑到由于使用 16 位浮点数进行的计算，您将失去精度。