火花流可视化答案

【问题标题】：spark streaming visualization火花流可视化
【发布时间】：2019-06-14 23:01:38
【问题描述】：

我正在使用火花流从 kafka 代理流式传输数据。我正在使用火花流对数据执行转换。有人可以推荐一个可视化工具，我可以用它来显示实时图形和图表，这些图形和图表会随着数据流而更新？

【问题讨论】：

【解决方案1】：

您可以将结果存储在ElasticSearch 中，然后使用Kibana 执行可视化。

【讨论】：

工具或库的建议应包括对链接资源如何适用于问题的具体说明，最好是also be accompanied by usage notes or some sample code。

【解决方案2】：

除了查看 spark 自己的流式 UI 选项卡之外，我强烈建议使用 graphite sinks。 Spark 流是一个长时间运行的应用程序，因此对于监控目的来说，这非常方便。

使用石墨仪表板，您将立即开始监控您的 Spark 流应用程序。

我所知道的最好的文献是，here 在部分监控中。还有[这里也是] (https://www.inovex.de/blog/247-spark-streaming-on-yarn-in-production/)

它提供配置和其他详细信息。您会在某些或其他 github 链接上找到一些现成的 json 格式的仪表板，但我再次发现这两个帖子在我的生产应用程序中最有用。

我希望这将有助于您在 Spark 流应用程序中可视化和监控您的应用程序内部。

【讨论】：

【解决方案3】：

您已经使用 Websockets 来构建实时流图。因此没有 BI 工具，但有 JS 库可以帮助构建实时图表 - http://www.pubnub.com/blog/tag/d3-js/

【讨论】：

【解决方案4】：

查看 Lightning：数据可视化服务器
http://lightning-viz.org/
该服务器旨在使用 D3 制作基于 Web 的交互式可视化。它专为大型数据集和不断更新的数据流而设计。

【讨论】：

【解决方案5】：

您可以使用 Tableau、Power BI 甚至 MS Excel 等 Pro BI 工具。对于测试，我使用具有 1 分钟自动刷新功能的 MS Excel。

你也可以为此编写python代码。

【讨论】：