我开始为一个项目深入研究 kubeflow 管道并且有一个初学者的问题。看起来 kubeflow 管道很适合训练，但在生产中服务怎么样？
我有一个相当密集的训练预处理管道，并且必须将相同的管道应用于生产预测。我可以使用像 Seldon Serving 这样的东西来创建一个端点来启动预处理管道，应用模型，然后返回预测吗？还是将所有东西都放在一个 docker 容器中的更好方法？
【问题讨论】：
标签： kubernetes google-kubernetes-engine kubeflow kubeflow-pipelines seldon
是的，您绝对可以使用 Seldon 来服务。事实上，Kubeflow 团队提供了一种连接训练和服务的简单方法：fairing
Fairing 提供了一种部署预测端点的编程方式。您还可以查看this example，了解如何使用您的训练结果部署您的 Seldon 端点。
【讨论】：
KF Pipelines 专为从头到尾运行的管道而设计。服务过程没有终点，因此，尽管可能，服务本身应该在管道之外处理。
管道应该做的是将训练好的模型最终推送到持久服务服务。
服务可以通过CMLE服务、Kubeflow的TFServe、Seldon等进行。
我可以使用像 Seldon Serving 这样的东西来创建一个端点来启动预处理管道，应用模型，然后返回预测吗？
由于容器启动开销，Kubeflow Pipelines 通常处理批处理作业。当然，您可以为单个预测运行管道，但延迟可能无法接受。为了提供服务，最好有一个专用的长寿命容器/服务来接受请求、转换数据并进行预测。
【讨论】：