KubeFlow 上的 TFServing 和 KFServing 有什么不同

Question

TFServin 和 KFServing 都将模型部署在 Kubeflow 上，让用户轻松将模型作为服务使用，无需了解 Kubernetes 的细节，隐藏底层。

• TFServing 来自 TensorFlow，它也可以在 Kubeflow 上运行或独立运行。 TFserving on kubeflow

• KFServing 来自 Kubeflow，可支持 PyTorch、TensorFlow、MXNet 等多种框架KFServing

我的问题是这两个项目之间的主要区别是什么。

如果我想在生产中启动我的模型，我应该使用哪个？哪个性能更好？

Answer 1

KFServing 是推理之上的抽象而非替代。它旨在简化部署并使推理客户端与推理服务器在幕后所做的实际工作无关（无论是 TF Serving、Triton（以前称为 TRT-IS）、Seldon 等）。它通过在推理数据平面规范上寻求推理服务器供应商之间的协议来实现这一点，该规范允许额外的组件（例如转换和解释器）更具可插拔性。