【问题标题】:Is there a way to get log the descriptive stats of a dataset using MLflow?有没有办法使用 MLflow 记录数据集的描述性统计信息?
【发布时间】:2019-09-13 07:30:57
【问题描述】:

有没有办法使用 MLflow 记录数据集的描述性统计信息?如果有的话可以分享一下细节吗?

【问题讨论】:

    标签: python mlflow


    【解决方案1】:

    一般来说,您可以使用 mlflow_log_artifact() 函数记录代码中的任意输出。来自the docs

    mlflow.log_artifact(local_path, artifact_path=None) 将本地文件或目录记录为当前活动运行的工件。

    参数:
    local_path – 要写入的文件的路径。 artifact_path – 如果提供,artifact_uri 中要写入的目录。

    例如,假设您将统计信息保存在 pandas 数据框中,stat_df

    ## Write csv from stats dataframe
    stat_df.to_csv('dataset_statistics.csv')
    
    ## Log CSV to MLflow
    mlflow.log_artifact('dataset_statistics.csv')
    

    这将显示在跟踪 UI 中此 MLflow 运行的工件部分下。如果您进一步浏览文档,您会发现您还可以记录整个目录和其中的对象。一般来说,MLflow 为您提供了很大的灵活性——您写入文件系统的任何内容都可以使用 MLflow 进行跟踪。当然,这并不意味着你应该这样做。 :)

    【讨论】:

    • 我认为是:mlflow.log_artifacts('dataset_statistics.csv')
    • 感谢您提供详细的解释
    猜你喜欢
    • 2019-09-30
    • 1970-01-01
    • 2012-04-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-11-29
    • 1970-01-01
    相关资源
    最近更新 更多