发送 Spark 流媒体指标以打开 tsdb

Question

如何从我的 spark 流作业发送指标以打开 tsdb 数据库？我正在尝试在 Grafana 中使用 open tsdb 作为数据源。您能否帮我提供一些可以开始的参考资料。

我确实看到 open tsdb 记者在这里做类似的工作。如何集成 Spark 流式作业中的指标以使用它？有没有简单的选择来做到这一点。

Answer 1

将指标发送到 opentsdb 的一种方法是使用 REST API。要使用它，只需将指标转换为 JSON 字符串，然后利用 Apache Http 客户端库发送数据（它在 java 中，因此可以在 scala 中使用）。示例代码可以在github找到。

---

更优雅的解决方案是使用 Spark 指标库并向数据库添加接收器。有一个discussion 为 Spark 度量库添加 OpenTSDB 接收器，但是，最后它没有添加到 Spark 本身中。该代码在github 上可用，应该可以使用。不幸的是，代码在 Spark 1.4.1 上是兼容的，但是，在最坏的情况下，它仍然可以得到一些需要添加的指示。