TensorFlow 服务集群架构答案

【问题标题】：TensorFlow Serving Cluster ArchitectureTensorFlow 服务集群架构
【发布时间】：2019-11-15 20:59:39
【问题描述】：

伙计们，我正在编写一个应用程序，它将根据 ML 模型调用生成推荐。应用程序将有不同的模型，其中一些应按顺序调用。数据科学家应该能够在系统中上传模型。这意味着应用程序应该具有存储模型元数据以及模型服务器地址的逻辑。模型服务器将在模型上传事件上动态实例化。我想在这里使用一个 TensorFlow Serving 集群，但是我遇到了一个架构问题。有没有办法为 TensorFlow 服务器提供服务注册表之类的东西？构建这样一个具有不同模型的服务器集群的最佳方法是什么？

【问题讨论】：

标签： tensorflow tensorflow-serving tfx

【解决方案1】：

我需要澄清一下你想要做什么。所有模型的特征向量是否相同？如果没有，那么这样做将更加困难。训练模型封装在 SavedModel 格式中。听起来您正在尝试训练一个整体，但有些模型被冻结了？如果您需要的话，您当然可以编写一个自定义组件来发出推理请求，作为 Trainer 输入的一部分。

更新 1 从您下面的评论看来，您可能正在寻找的是服务网格，例如 Istio。这将有助于管理在容器内运行的服务之间的连接，以及用户和服务之间的连接。在这种情况下，运行模型的 tf.Serving 实例是服务，但基本的请求-响应模式是相同的。这有帮助吗？

【讨论】：

谢谢。我只想专注于模型部署过程。假设数据科学管道的输出始终是新模型，由单独的 Docker 容器中的 TF 服务器提供服务。该容器将与其他不同模型的容器一起部署在我们的集群中。接下来，考虑到模型容器的预定义路由不存在，系统应该知道这个模型，它充当用户和模型之间的中间人。是否有一种构建此类应用程序的良好实践，例如服务注册、八卦协议的使用？
谢谢你，罗伯特。是的，我认为这是正确的方法。