TensorFlow Serving - 有状态的 LSTM

Question

是否有规范的方式来使用 Tensorflow Serving 维护有状态的 LSTM 等？

直接使用 Tensorflow API 这很简单 - 但我不确定在将模型导出到 Serving 后如何最好地在调用之间实现持久 LSTM 状态。

有没有实现上述目标的例子？ repo 中的示例非常基础。

Answer 1

来自 TF 邮件列表中的 Martin Wicke：

“模型服务器中的状态模型还没有很好的集成。正如你所说，它基本上假设模型是纯函数。我们正在研究这个，你应该会看到这个功能最终出现，但它太远了承诺一个时间。因此，与此同时，您可以编写一个简单的包装器来保持服务器上的状态（并分配某种在请求中传递的会话 ID），或者您可以编写自己的服务器来维护 TensorFlow 会话状态（并类似地返回一些会话 ID）。后者性能更高。两者都需要某种垃圾收集/会话超时逻辑。”