【发布时间】:2018-03-15 05:37:01
【问题描述】:
如何以编程方式获取 Spark 作业的 SparkUI 信息? 我正在尝试从 SparkUI 获取所有信息并在作业运行时在控制台中打印。但我没有找到任何方法。
有没有类似于 Spark-listener 的方法来获取所有信息。
【问题讨论】:
标签: apache-spark spark-dataframe
如何以编程方式获取 Spark 作业的 SparkUI 信息? 我正在尝试从 SparkUI 获取所有信息并在作业运行时在控制台中打印。但我没有找到任何方法。
有没有类似于 Spark-listener 的方法来获取所有信息。
【问题讨论】:
标签: apache-spark spark-dataframe
这对我有用 - https://spark.apache.org/docs/latest/monitoring.html#rest-api?您应该能够从sc.applicationId 获得app-id。
【讨论】: