【问题标题】:Executing Zeppelin notebooks as recurring job in Amazon EMR在 Amazon EMR 中将 Zeppelin 笔记本作为重复作业执行
【发布时间】:2019-08-03 21:47:10
【问题描述】:

我正在从 Databricks 迁移到 Amazon EMR,并计划使用 Zeppelin 笔记本代替 Databricks 笔记本。目前,许多 Databricks 笔记本都被安排为作业。有什么方法可以创建重复作业或添加 Zeppelin 笔记本以在 Amazon EMR 中作为重复步骤运行。对文档的任何参考也会有所帮助。

【问题讨论】:

    标签: amazon-web-services apache-spark pyspark amazon-emr apache-zeppelin


    【解决方案1】:

    听起来Zeppelin's built-in cron support 会满足您的需求。

    【讨论】:

    • 这里的问题是 cron 调度程序将在运行集群的情况下工作。如果每次运行作业都必须启动集群,那么理想的方式是什么。
    猜你喜欢
    • 2019-07-02
    • 2019-04-05
    • 2018-04-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-02-16
    • 2019-10-09
    • 2022-01-22
    相关资源
    最近更新 更多