【问题标题】:How do you schedule GCP AI Platform notebooks via Google Cloud Composer?您如何通过 Google Cloud Composer 安排 GCP AI Platform 笔记本?
【发布时间】:2021-02-28 02:48:42
【问题描述】:

我的任务是通过 Papermill 操作员自动安排一些日常运行的笔记本,这些笔记本在 AI Platform 笔记本上,但实际上通过 Cloud Composer 执行此操作给我带来了一些麻烦。

感谢任何帮助!

【问题讨论】:

    标签: google-cloud-platform airflow google-cloud-composer gcp-ai-platform-notebook gcp-ai-platform-training


    【解决方案1】:

    第一步是创建 Jupyter Lab Notebook。如果您想使用其他库,请安装它们并重新启动内核(Restart Kernel and Clear All Outputs 选项)。然后,在 Notebook 中定义处理。

    准备就绪后,在开始计划阶段之前删除所有运行、窥视和试运行。

    现在,您需要设置 Cloud Composer 环境(请记住安装您在第一步中定义的附加包)。要安排工作流,请转到 Jupyter Lab 并创建第二个笔记本,它会从工作流生成 DAG。

    最后一步是将压缩后的工作流上传到 Cloud Composer DAGs 文件夹。您可以使用 Airflow UI 管理您的工作流程。

    我建议你看看这个article。

    您可以使用的另一个解决方案是Kubeflow,它旨在让机器学习工作负载在 Kubernetes 上运行。 Kubeflow 向您的集群添加了一些资源以协助完成各种任务,包括训练和服务模型以及运行 Jupyter Notebook。你可以在codelabs找到有趣的教程。

    希望以上信息对您有用。

    【讨论】:

    • 请注意,该文章已不存在并抛出 410 错误代码。
    【解决方案2】:

    Medium 上的这篇 blog post“如何在 Google Cloud Platform 上部署和调度 Jupyter Notebook”描述了如何在 Compute Engine 实例上运行 Jupyter Notebook 作业并使用 GCP 的 Cloud Scheduler > Cloud Pub/Sub > Cloud 进行调度功能。 (不幸的是,该帖子可能会被付费。)

    如果您必须使用 Cloud Composer,那么您可能会发现 this answer 到 related question,“由 Jupyter Notebooks 和 Papermill 辅助的气流中的 ETL”很有用。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2022-07-25
      • 2021-07-31
      • 1970-01-01
      • 1970-01-01
      • 2020-03-13
      • 2021-01-31
      • 2019-06-19
      相关资源
      最近更新 更多