Tensorflow 2.0 保存训练好的服务模型

Question

请帮助我。我正在使用 TensorFlow 2.0 GPU。 我训练模型并以 .h5 格式保存

model = keras.Sequential()
model.add(layers.Bidirectional(layers.CuDNNLSTM(self._window_size, return_sequences=True),
                               input_shape=(self._window_size, x_train.shape[-1])))
model.add(layers.Dropout(rate=self._dropout, seed=self._seed))
model.add(layers.Bidirectional(layers.CuDNNLSTM((self._window_size * 2), return_sequences=True)))
model.add(layers.Dropout(rate=self._dropout, seed=self._seed))
model.add(layers.Bidirectional(layers.CuDNNLSTM(self._window_size, return_sequences=False)))
model.add(layers.Dense(units=1))
model.add(layers.Activation('linear'))
model.summary()

model.compile(
    loss='mean_squared_error',
    optimizer='adam'
)
# обучаем модель
history = model.fit(
    x_train,
    y_train,
    epochs=self._epochs,
    batch_size=self._batch_size,
    shuffle=False,
    validation_split=0.1
)

model.save('rts.h5')

然后我加载此模型并将其用于预测，一切正常。

model = keras.models.load_model('rts.h5')
y_hat = model.predict(x_test)

但问题是在 Tensorflow Serving 中使用经过训练的模型。不接受 .h5 格式的模型。 我跑：

sudo docker run --gpus 1 -p 8501:8501 --mount type=bind,source=/home/alex/PycharmProjects/TensorflowServingTestData/RtsModel,target=/models/rts_model -e MODEL_NAME=rts_model -t tensorflow/serving:latest-gpu

但问题是在 Tensorflow Serving 中使用经过训练的模型。不接受 .h5 格式的模型。 我跑： 我得到了错误：

tensorflow_serving/sources/storage_path/file_system_storage_path_source.cc:267] No versions of servable rts_model found under base path /models/rts_model

我尝试保存训练后的模型，如下所述，https://www.tensorflow.org/guide/saved_model#using_savedmodel_with_estimators：

我得到了错误：

ValueError: Layer has 2 states but was passed 0 initial states.

我尝试将模型保存如下，https://www.tensorflow.org/api_docs/python/tf/keras/models/save_model：

并且有同样的错误：

ValueError: Layer has 2 states but was passed 0 initial states.

将模型保存为 Tensorflow Serving 格式的唯一方法是：

keras.experimental.export_saved_model(model, 'saved_model/1/')

在 Serving 中保存模型工作。但我收到警告说此方法已被弃用，并将在未来的版本中删除。

Instructions for updating:
Please use `model.save(..., save_format="tf")` or `tf.keras.models.save_model(..., save_format="tf")`.

它关闭了我。 当我尝试使用这些方法时，它给出了一个错误。 当我使用有效的方法时，写道它已被弃用。

请帮忙。 如何在 Tensorflow 2.0 中保存经过训练的模型。以便它可以用于 Tensorflow Serving。

Answer 1

我也在尝试解决这个问题！

根据here 的回答，普通的 LSTM（即tf.keras.layers.LSTM）将使用 GPU，并且通常应该在 cuDNNLSTM 类上使用，除非您特别需要原始实现（不知道为什么会这样）。

根据docs，如果满足某些要求，正常的 LSTM 将使用 cuDNN 实现（见下文）。

当使用这个 LSTM 层时，我可以成功保存到 tf 输出类型，只需使用model.save_model('output_path', save_format='tf')

LSTM 使用 cuDNN 的要求如下（注意所有要求都满足默认）：

如果有 GPU 并且该层的所有参数都满足 CuDNN 内核的要求（详见下文），则该层将使用快速 cuDNN 实现。

使用 cuDNN 实现的要求是：

1. activation == tanh
2. recurrent_activation == sigmoid
3. recurrent_dropout == 0
4. 展开是假的
5. use_bias 为真 输入没有被屏蔽或严格右填充。