Bluemix Apache Spark 指标

Question

我一直在寻找一种方法来监控 Spark on Bluemix 中的性能。我知道在 Apache Spark 项目中，他们提供了基于 Coda Hale Metrics Library 的指标服务。这允许用户向各种接收器报告 Spark 指标，包括 HTTP、JMX 和 CSV 文件。详情在这里：http://spark.apache.org/docs/latest/monitoring.html

有谁知道在 Bluemix Spark 服务中执行此操作的任何方法？理想情况下，我想将指标保存到对象存储中的 csv 文件中。

感谢您的帮助。

谢谢

索尔

Answer 1

目前，我没有看到使用“Coda Hale Metrics Library”和报告作业历史记录或通过 REST API 访问信息的选项。

但是，在 Spark 历史服务器的主页上，您可以看到 事件日志目录。它指的是您的以下用户目录：file:/gpfs/fs01/user/USER_ID/events/

在那里我看到了 JSON（类似）格式的文件。