【问题标题】:Is there a way to log stats/artifacts from AWS Glue Job using mlfow?有没有办法使用 mlflow 从 AWS Glue 作业记录统计信息/工件?
【发布时间】:2019-09-30 16:25:30
【问题描述】:

能否告诉我当前版本的 mlflow 中是否有任何此类功能?

【问题讨论】:

  • 是否有供 Glue 访问数据的 API?
  • 是的,有几种方法可以从 Glue 访问数据。

标签: python-3.x amazon-web-services aws-glue mlflow


【解决方案1】:

我认为这里的一般答案是,您可以使用mlflow_log_artifact()mlflow_set_tag() 将实验中的任意数据和工件记录到您的 MLflow 跟踪服务器,具体取决于您的操作方式。如果有一个 API 可以从 Glue 获取数据,并且您可以在 MLflow 运行期间获取它,那么您可以记录它。编写一个 csv,将一个 .png 保存到磁盘并记录下来,或者声明一个变量并在设置标签时访问它。

这适用于 Glue 或您从中获得响应的任何其他 API。 MLflow 的主要优势之一是它是一个通用框架,因此您可以跟踪对特定实验重要的内容。

希望这会有所帮助!

【讨论】:

    猜你喜欢
    • 2019-09-13
    • 1970-01-01
    • 2019-08-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2010-10-21
    相关资源
    最近更新 更多