【问题标题】:No Artifacts Recorded MLFlow没有工件记录 MLFlow
【发布时间】:2020-07-03 17:19:37
【问题描述】:

我无法在 MLFlow 中存储、查看和检索工件。无论是否创建新实验并分配正确的实验名称和位置,工件文件夹都是空的。

服务器:mlflow 服务器 --backend-store-uri mlruns/ --default-artifact-root mlruns/ --host 0.0.0.0 --port 5000

创建实验:mlflow.create_experiment(exp_name, artifact_location='mlruns/')

with mlflow.start_run():
    mlflow.log_metric("mse", float(binary))
    mlflow.log_artifact(data_path, "data")
    # log model
    mlflow.keras.log_model(model, "models")

代码编译并运行,但没有记录任何工件。它有 mlflow.log-model.history 文件,但没有 model.h5

【问题讨论】:

    标签: python-3.x machine-learning keras mlflow


    【解决方案1】:

    我在开始使用 MLflow 时遇到了同样的问题。

    所以概念是tracking uriartifact uri 有两个不同的东西。

    tracking uri 存储日志,artifact uri 存储工件(如 yaml、pkl 等)

    但如果你想要一个通用的 uri,你可以使用 SQLite 作为本地数据库,然后你的命令将是这样的......

    mlflow 服务器 --backend-store-uri sqlite:///mlruns.db --host 0.0.0.0 --port 5000

    Note: 如果您使用的是远程服务器,那么您的工件存储也应该是远程存储,它不适用于本地数据库

    别忘了明确设置跟踪 uri,有两种方法:

    • 在您的代码中mlflow.set_tracking_uri("sqlite:///mlruns.db")
    • 使用环境变量export MLFLOW_TRACKING_URI=sqlite:///mlruns.db

    【讨论】:

      【解决方案2】:

      Artifact Store 需要服务器和客户端都可以访问。如果您的客户端是从远程计算机连接的,并且您没有配置像 S3 这样的远程 Artifact Store,则他们的工件文件将保存在本地。你可以查看本地存储

      这里有一个关于目前支持的不同 Artifact Storage 的说明:https://mlflow.org/docs/latest/tracking.html#artifact-stores

      【讨论】:

        【解决方案3】:

        我遇到了同样的问题(mlflow.pytorch)。对我来说,它是通过替换 log_model()log_atrifacts() 来解决的。

        所以记录工件的是:

        mlflow.log_metric("metric name", [metric value])
        mlflow.pytorch.log_model(model, "model")
        mlflow.log_artifacts(output_dir)
        

        此外,对于终端中的ui,cd 到mlruns 所在的目录。比如mlruns的位置是...\your-project\mlruns

        cd ...\your-project
        

        进入安装mlflow的环境。

        ...\your-project> conda activate [myenv]
        

        然后,运行mlflow ui

        (myenv) ...\your-project> mlflow ui
        

        我也在this post 中回答了这个问题:

        【讨论】:

          猜你喜欢
          • 2019-09-30
          • 2022-07-29
          • 2021-09-18
          • 1970-01-01
          • 1970-01-01
          • 2020-12-25
          • 2016-07-12
          • 1970-01-01
          • 2019-09-13
          相关资源
          最近更新 更多