【发布时间】:2021-06-19 21:54:03
【问题描述】:
在决定如何从 MLflow 提供模型时,请解释一下主要用例是什么:
- 使用命令行“mlflow models serve -m ....”
- 部署本地同型号的Docker容器
- 在线部署模型,例如在 AWS Sagemaker 上
我主要对选项 A 和 B 之间的区别感兴趣,因为据我了解,两者都可以作为 REST API 端点进行访问。我假设如果网络规则到位,那么两者都可以在外部调用。
【问题讨论】:
标签: mlflow
在决定如何从 MLflow 提供模型时,请解释一下主要用例是什么:
我主要对选项 A 和 B 之间的区别感兴趣,因为据我了解,两者都可以作为 REST API 端点进行访问。我假设如果网络规则到位,那么两者都可以在外部调用。
【问题讨论】:
标签: mlflow
恕我直言,主要区别在documentation中描述:
注意:默认情况下,容器会启动 nginx 和 gunicorn 进程。如果您不需要启动 nginx 进程(例如,如果您将容器部署到 Google Cloud Run),您可以通过 DISABLE_NGINX 环境变量禁用它
而model serve 仅使用Flask,因此它的可扩展性可能会降低。
【讨论】: