使用 TensorFlow Serving 的双向流式传输

Question

我有一个模型，它接受任意长度的数据流并执行分类。我使用 Tensorflow Serving 来监听 gRPC 请求并在经过训练的模型上执行分类。

Google Cloud Speech API 具有"Streaming Speech Recognition" 功能，在使用 gRPC 请求时可用，该功能“允许您将音频流式传输到 Cloud Speech API 并作为音频实时接收 [of] 语音识别结果流正在处理”。

我相信这是可能的，因为gRPC documentation 中描述了双向流 RPC，其中“服务器和客户端可以“乒乓”：服务器收到请求，然后发回响应，然后客户端发送基于响应的另一个请求，依此类推”。

所以现在我想知道是否可以使用 Tensorflow Serving 实现类似于 Google Cloud Speech API 流式识别的功能。我在 TF Serving 的官方文档中能找到的唯一参考资料（除非我遗漏了什么）是 describing possible future improvements：“Servables 可以是任何类型和接口，从而实现灵活性和未来的改进，例如：流式传输结果 [.. .]"。

是否已经可以使用 TF Serving 实现此功能（双向流式传输）？如果是这样，怎么做？如果没有，扩展 TF Serving 以添加此功能的最佳方法是什么？

Answer 1

这似乎实际上目前不可用。我在 TensorFlow Serving GitHub 存储库上提交了 feature request，但被拒绝并回复如下：

TF-Serving 目前不支持这种开箱即用的用例，但正如您所提到的，可以利用其可扩展性来做到这一点，而无需对内部进行大手术。我们目前没有任何将其添加到官方发行版的短期计划。

他们也不愿意提供任何指导：

很遗憾，这超出了我们目前可以支持的范围，因此您必须设计一个解决方案并将其保存在您自己的存储库中。