【问题标题】:how to know remotely if spark job is running on cluster如何远程知道 Spark 作业是否在集群上运行
【发布时间】:2017-11-20 21:48:24
【问题描述】:

我在 ec2 集群上运行 spark 作业,我有一个定期提交作业的触发器。如果一个作业已经在集群上运行,我不想提交作业。有没有什么api可以给我这些信息?

【问题讨论】:

    标签: apache-spark mapreduce spark-streaming bigdata


    【解决方案1】:

    Spark 以及通过扩展,Spark Streaming 在http://<host>:4040/api/v1 提供可操作的 REST API

    查询当前申请的状态将为您提供所需的信息。

    查看文档:https://spark.apache.org/docs/2.1.0/monitoring.html#rest-api

    【讨论】:

      【解决方案2】:

      您可以查看 UI 以查看状态 例如。 如果你在本地运行,看看 localhost:4040

      【讨论】:

        猜你喜欢
        • 2017-02-25
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-05-30
        • 1970-01-01
        • 2015-04-25
        • 1970-01-01
        相关资源
        最近更新 更多