如何使用 tf.loadModel 从 Firebase 存储加载模型？

Question

我正在 ionic3 框架中开发一个用于识别绘制字符的应用程序，但我在导入模型时遇到了问题。我已通过两种不同的方式将 Keras 中的模型（使用 tensorflowjs_converter 转换）导入到我的 ionic3 应用程序中：

1. model.json 和权重文件（分片）被放入文件夹 /assets/models。
2. model.json 和权重文件（分片）托管在 Firebase 存储中。

当使用 first 方法在浏览器中启动应用程序时，模型和权重已正确加载，并且我能够预测类。但是当使用ionic cordova run android --device在我的Android设备中启动应用程序时，模型似乎没有从权重文件中检索数据，因为它给出了以下错误：

Based on the provided shape, [3, 3, 32, 64], the tensor should have 18432 values but has 917.

现在，我尝试将文件托管在 Firebase 存储中以尝试解决此问题。我从存储中检索model.json，但我仍然得到与上述相同的错误在浏览器和设备中。

根据在应用程序中本地存储碎片和模型的经验，我得出的结论是，无论哪种方式，设备都无法识别碎片。

另外，当使用 Firebase 存储方法 in device 时，尝试从 url 获取模型时，我发现以下错误：Failed to fetch。

这是检索分片和模型的代码：

const modelURL: string = await this.db.getModel();
const shards: string[] = await this.db.getShards();

modelURL 和 shards 包含来自 firebase 存储的下载 url。模型和分片保持在同一级别：

/* Firebase Storage hierarchy */

https://firebasestorage.googleapis.com/v0/b/project-foo.com/o/model%2Fmodel.json?alt=media&token=******
https://firebasestorage.googleapis.com/v0/b/project-foo.com/o/model%2Fgroup1-shard1of4?alt=media&token=******
https://firebasestorage.googleapis.com/v0/b/project-foo.com/o/model%2Fgroup1-shard2of4?alt=media&token=******
https://firebasestorage.googleapis.com/v0/b/project-foo.com/o/model%2Fgroup1-shard3of4?alt=media&token=******
https://firebasestorage.googleapis.com/v0/b/project-foo.com/o/model%2Fgroup1-shard4of4?alt=media&token=******

因此，我将模型的下载网址传递给tf.loadModel：

import * as tf from '@tensorflow/tfjs';    

await tf.loadModel(modelURL).then(model => {
    const output: any = model.predict(img);
});

那么，有什么方法可以将分片传递到从 firebase 存储中获取的 tf.loadModel()，以便在我的设备和浏览器中检索从模型进行预测所需的所有数据？

感谢您的帮助。

Answer 1

tf.loadModel() 调用的 http 加载器假定 model.json 和相应的权重文件 (group1-shard1of1,...) 共享相同的 url 路径前缀。例如： 给定的模型文件位于： https://foo.bar/path/model.json 加载程序尝试在以下位置检索权重文件： https://foo.bar/path/group1-shard1of1, ...

在你的情况下 const modelURL: string = await this.db.getModel(); const shards: string[] = await this.db.getShards();

如果 modelUrl 和 shards 不共享相同的路径，您可能需要创建自己的 BrowserHttp IOHandler 以进行加载： const model = await tf.loadModel(new MyOwnHttpIOLoader(modelUrl, shards));

如果是这样，您也许可以通过手动编辑 model.json 文件来对齐它们。在model.json文件中，有一个权重文件路径数组。

使用 firebase 存储的问题是模型文件的 url 是：https://firebasestorage.googleapis.com/v0/b/project-foo.com/o/model%2Fmodel.json 有路径 firebasestorage.googleapis.com/v0/b/project-foo.com/o 加载器将使用该路径并尝试在firebasestorage.googleapis.com/v0/b/project-foo.com/o/group1-shard1of4 处加载权重文件。但它与您的体重 url firebasestorage.googleapis.com/v0/b/project-foo.com/o/model%2Fgroup1-shard1of4 不匹配，它缺少 model%2F 前缀。

为了让加载器工作，你可以手动更新model.json添加前缀。 在文件中搜索“weightsManifest”，编辑“paths”数组，使其类似于 ["model%2Fgroup1-shard1of4", ...]