使用 Spark Streaming 的热图答案

【问题标题】：Heatmap with Spark Streaming使用 Spark Streaming 的热图
【发布时间】：2015-10-18 13:48:49
【问题描述】：

我刚刚开始使用 Spark Streaming 并完成了一些 POC。这很容易实现。我正在考虑使用一些智能图形和仪表板工具来呈现数据，例如Graphite 或 Grafna，但它们没有热图。我还查看了 Zeppelin ，但找不到任何热图功能。您能否推荐任何使用热图和 Spark 流的数据可视化工具。

【问题讨论】：

我们有热图，但截至今天还没有 Spark 集成。 axibase.com/products/axibase-time-series-database/visualization/… treemap 是相当可配置的，例如，每个矩形的大小和值可以映射到不同的系列。因此，随着新数据的进入，矩形会调整大小并重新着色。从 Spark 获取数据有多难？是火花流还是 sql？
@SergeiRodionov 它的火花流，因为我需要实时更新热图，有没有办法直接从火花流发送数据到上述工具。
您能否通过 tcp/udp 流式传输数据，例如通过发送诸如series e:entity-name m:metric-name=123 之类的行命令？
是的，我可以通过 TCP/UDP 进行写入，请告诉我如何在热图中进行可视化？
你能在这里或github上发布一些输入数据吗，例如一组度量：度量名称、值、时间。我将通过 tcp 将其插入测试实例并发布示例热图。如果它按预期工作，那么您可以自己安装数据库并在本地重新运行示例，将数据流式传输到数据库并在热图上查看。

标签： apache-spark spark-streaming graphite apache-zeppelin

【解决方案1】：

在 Stratio 中，我们一直使用从 spark 获取数据的热图。您所需要的只是 stratio-viewer http://www.stratio.com/datavis/kbase/article/map-widget/ 和 stratio-sparkta http://docs.stratio.com/modules/sparkta/development/about.html 的组合。

免责声明：我为 Stratio 工作

【讨论】：

链接已损坏。