swift/coreml 实现的 LSTM 维度问题

Question

我使用 keras 和 tf 作为后端生成了一个用于音频分类的 LSTM 模型。使用 coremltools 转换为 .mlmodel 后，我遇到了问题，如您所见 here。尺寸与预期有很大不同。

我在 swift 中使用 this 作为我在 xcode 中的基础。

尤其是这个片段是我认为给我带来麻烦的：

do {
    let request = try SNClassifySoundRequest(mlModel: soundClassifier.model)
    try analyzer.add(request, withObserver: resultsObserver)
        } catch {
                print("Unable to prepare request: \(error.localizedDescription)")
                return
                }
   }

运行这个模型给我以下错误：

Invalid model, inputDescriptions.count = 5

Unable to prepare request: Invalid model, inputDescriptions.count = 5

尽管当我 build 模型时，我看到了规范中的预期：

description {
  input {
    name: "audioSamples"
    shortDescription: "Audio from microphone"
    type {
      multiArrayType {
        shape: 13
        dataType: DOUBLE
      }
    }
  }

我正在尝试将 this 帖子合并到我的代码中，但我不确定如何根据需要对其进行格式化。任何意见是极大的赞赏。我可以看到 MLMultiArray 是我的问题的关键，但我不确定：如何将正确的数据放入其中以及如何将其推送到 SNClassifySoundRequest 类型中。

keras == 2.3.1 coremltools == 3.3

Answer 1

当你使用SNClassifySoundRequest时，你的模型需要有一定的结构。我不知道我脑海中的确切细节，但我认为它需要是一个管道，其中第一个模型是将音频转换为频谱图的内置模型。

如果您使用 Keras 训练模型，它很可能不符合 SNClassifySoundRequest 的要求。

好消息是您不需要SNClassifySoundRequest 来运行您的模型。只需在模型上调用soundClassifier.prediction(...)。

请注意，您需要传入输入以及 LSTM 层的隐藏状态。 Core ML 不会自动为您管理 LSTM 状态（与 Keras 不同）。