如何从 Azure Databricks 将 MLFlow 模型导出为用于 CD 阶段的 Azure DevOps Artifacts？答案

【问题标题】：How to export a MLFlow Model from Azure Databricks as an Azure DevOps Artifacts for CD phase?如何从 Azure Databricks 将 MLFlow 模型导出为用于 CD 阶段的 Azure DevOps Artifacts？
【发布时间】：2021-08-17 05:44:23
【问题描述】：

我正在尝试使用 Azure DevOps 和 Azure Databricks 创建 MLOps 管道。从 Azure DevOps，我将 Databricks 作业提交到集群，该集群训练机器学习模型并将其保存到具有自定义风格的 MLFlow 模型注册表中（使用 PyFunc 自定义模型）。

现在工作结束后，我想导出这个 MLFlow 对象（包含所有依赖项 - Conda 依赖项，两个模型文件 - 一个 .pkl 和一个 .h5，带有 load_context() 和 predict() 的 Python 类定义的函数，以便在导出后我可以导入它并调用 predict ，就像我们使用 MLFlow 模型一样）。

如何导出整个 MLFlow 模型并将其保存为 AzureDevOps 工件以在 CD 阶段使用（我将在其中将其部署到具有自定义基础映像的 AKS 群集）？

【问题讨论】：

标签： azure azure-devops azure-databricks mlflow

【解决方案1】：

没有将 Databricks MLflow 运行从一个工作区导出到另一个工作区的官方方法。但是，有一个“非官方”工具可以完成大部分工作，主要限制是由于缺少 REST API 端点而无法导出与运行相关的笔记本修订。

https://github.com/amesar/mlflow-export-import

【讨论】：

【解决方案2】：

可能您不需要使用工件，有一个 azure devops 扩展 (Machine Learning)，它可以访问 AzureML 工作区中的工件，并触发发布管道。步骤可参考以下链接： https://github.com/Azure-Samples/MLOpsDatabricks/blob/master/docs/release-pipeline.md

【讨论】：

我们没有使用 AzureML。我们打算使用 Azure DevOps 和 Azure Databricks。