TFLite 的 CoreMLDelegate 能否在 iOS 中同时使用 GPU 和 CPU？

Question

我已经在我的应用程序中成功使用了 tflite 的 MetalDelegate。当我切换到 CoreMLDelegate 时，它​​完全在 CPU 上运行我的 (float) tflite 模型 (MobileNet)，显示 GPU 使用率为 0。我在兼容设备的 iPhone 11MaxPro 上运行它。在初始化期间，我注意到以下行： “CoreML 委托：31 个节点中的 29 个节点被委托，有 2 个分区”。 任何想法为什么？如何让 CoreMLDelegate 在 iOS 上同时使用 GPU 和 CPU？我从here 下载了mobilenet_v1_1.0_224.tflite 模型文件。

import AVFoundation
import UIKit
import SpriteKit
import Metal

var device: MTLDevice!
var commandQueue: MTLCommandQueue!

private var total_latency:Double = 0
private var total_count:Double = 0
private var sstart = TimeInterval(NSDate().timeIntervalSince1970)

class ViewController: UIViewController {
...
}

// MARK: CameraFeedManagerDelegate Methods
extension ViewController: CameraFeedManagerDelegate {

  func didOutput(pixelBuffer: CVPixelBuffer) {
    let currentTimeMs = Date().timeIntervalSince1970 * 1
    guard (currentTimeMs - previousInferenceTimeMs) >= delayBetweenInferencesMs else { return }
    previousInferenceTimeMs = currentTimeMs



    //  1. First create the Metal device and command queue in viewDidLoad():
    device = MTLCreateSystemDefaultDevice()
    commandQueue = device.makeCommandQueue()

    var timestamp = NSDate().timeIntervalSince1970
    let start = TimeInterval(timestamp)

    // 2. Access the shared MTLCaptureManager and start capturing
    let capManager = MTLCaptureManager.shared()
    let myCaptureScope = capManager.makeCaptureScope(device: device)
    myCaptureScope.begin()
    let commandBuffer = commandQueue.makeCommandBuffer()!
    // Do Metal work


    // Pass the pixel buffer to TensorFlow Lite to perform inference.
    result = modelDataHandler?.runModel(onFrame: pixelBuffer)


    // 3.
    // encode your kernel
    commandBuffer.commit()
    myCaptureScope.end()

    timestamp = NSDate().timeIntervalSince1970
    let end = TimeInterval(timestamp)
    //var end = NSDate(timeIntervalSince1970: TimeInterval(myTimeInterval))

    total_latency += (end - start)
    total_count += 1;
    let rfps = total_count/(end - sstart)
    let fps = total_count/(end - start)
    let stri = "Time: " + String(end - start) + " avg: " + String(total_latency/total_count)+" count: " + String(total_count)+" rfps: "+String(rfps)+" fps: "+String(fps)
    print(stri)


    // Display results by handing off to the InferenceViewController.
    DispatchQueue.main.async {
      guard let finalInferences = self.result?.inferences else {
        self.resultLabel.text = ""
        return
      }
     let resultStrings = finalInferences.map({ (inference) in
        return String(format: "%@ %.2f",inference.label, inference.confidence)
      })
      self.resultLabel.text = resultStrings.joined(separator: "\n")
    }

  }

2020-08-22 07:09:39.783215-0400 ImageClassification[3039:645963] coreml_version 必须为 2 或 3。设置为 3。 2020-08-22 07:09:39.785103-0400 ImageClassification[3039:645963] 为 Metal 创建了 TensorFlow Lite 委托。 2020-08-22 07:09:39.785505-0400 ImageClassification[3039:645963] 启用金属 GPU 帧捕获 2020-08-22 07:09:39.786110-0400 ImageClassification[3039:645963] 启用金属 API 验证 2020-08-22 07:09:39.927854-0400 ImageClassification[3039:645963] 初始化 TensorFlow Lite 运行时。 2020-08-22 07:09:39.928928-0400 ImageClassification[3039:645963] CoreML 委托：在 31 个节点中委托 29 个节点，有 2 个分区

Answer 1

感谢您试用 Core ML 委托。你能分享你使用的 TFLite 版本，以及你用来初始化 Core ML 委托的代码吗？另外，您能否确认您正在尝试运行浮点模型，而不是量化模型？

延迟可能会因您测量的内容而异，但仅测量推理时间时，我的 iPhone 11 Pro 显示 CPU 为 11 毫秒，Core ML 代理为 5.5 毫秒。

分析器未捕获神经引擎利用率，但如果您看到延迟和高 CPU 利用率，则可能表明您的模型仅在 CPU 上运行。你也可以试试time profiler，看看哪个部分消耗的资源最多。