Tensorflow hub.load 模型到 TFLite

Question

我正在尝试将加载了 hub.load 的模型转换为 TFLite。 有问题的模型是universal-sentence-encoder (4)，位于https://tfhub.dev/google/universal-sentence-encoder/4 我尝试在 Python 中使用 Tensorflow 版本 2.1.0 和 2.2.0

import tensorflow as tf
import tensorflow_hub as hub

model = hub.load("https://tfhub.dev/google/universal-sentence-encoder/4")
converter = tf.lite.TFLiteConverter.from_keras_model(model )
converter.experimental_new_converter = True // tried with and without
tflite_model = converter.convert()

我收到以下错误：

    converter = tf.lite.TFLiteConverter.from_keras_model(model)
  File "...\lib\site-packages\tensorflow_core\lite\python\lite.py", line 394, in from_keras_model
    if not isinstance(model.call, _def_function.Function):
AttributeError: '_UserObject' object has no attribute 'call'

据我了解 hub.load 返回一个 keras SavedModel，所以不应该立即转换？

Answer 1

尝试使用hub.KerasLayer 将模型加载到tf.keras.Model，然后使用.from_keras_model 将其转换为ŧflite。

没有“keras SavedModel”这样的东西。有SavedModel，即.pb 文件+assets 文件夹+variables 文件夹。它就像一种文件格式，一种存储模型的方式。它与内存中的tf.keras.Models 无关。 hub.load 不返回 tf.keras.Model，而是“最通用的东西”，您可以保存为 SavedModel 文件格式，即 _UserObject。这是因为您可以以SavedModels 文件格式保存除tf.keras.Modelss 之外的其他内容。

我知道这不是您的问题，但如果您确实想在加载后找回您的tf.keras.Model，您可以使用tf.keras.save_model 保存它。然后它会在使用tf.saved_model.load 加载后以tf.keras.Model 的形式返回（所以它不再是最通用的东西）。

编辑：

只需代码：

import tensorflow as tf
import tensorflow_hub as hub 
model = tf.keras.Sequential()
model.add(tf.keras.layers.InputLayer(dtype=tf.string, input_shape=()))
model.add(hub.KerasLayer("https://tfhub.dev/google/universal-sentence-encoder/4"))
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

哪个有效（它开始转换），但你得到一个：

2020-05-05 10:48:44.927433: I tensorflow/lite/toco/import_tensorflow.cc:659] Converting unsupported operation: StatefulPartitionedCall

所以这是代码将保存在SavedModel格式的模型转换为tflite，但是你得到一个google-universal-sentence-encoder特定的错误。不知道如何解决这个问题。