【问题标题】:How to get SparkUI information Programatically如何以编程方式获取 Spark UI 信息
【发布时间】:2018-03-15 05:37:01
【问题描述】:

如何以编程方式获取 Spark 作业的 SparkUI 信息? 我正在尝试从 SparkUI 获取所有信息并在作业运行时在控制台中打印。但我没有找到任何方法。

有没有类似于 Spark-listener 的方法来获取所有信息。

【问题讨论】:

    标签: apache-spark spark-dataframe


    【解决方案1】:

    这对我有用 - https://spark.apache.org/docs/latest/monitoring.html#rest-api?您应该能够从sc.applicationId 获得app-id。

    【讨论】:

      猜你喜欢
      • 2011-09-11
      • 2018-12-29
      • 1970-01-01
      • 1970-01-01
      • 2021-12-12
      • 2015-10-29
      • 1970-01-01
      • 2017-01-06
      • 1970-01-01
      相关资源
      最近更新 更多