使用 GraphX 和 Zeppelin 在 Spark 中查看图形

Question

我目前正在使用其他人的代码进行项目。我了解此代码如何工作的基本概念，但不是全部。为此，我试图通过运行来跟踪一个小例子。我知道我可以使用 println 做到这一点，但我真的很想在每次操作后可视化图表。

spark生成的图表可以查看吗？我正在使用 Zeppelin，因为我读过它确实有助于进行此调试和其他调试，但我希望能够实际制作图形的可视化表示。

这可能吗？

Answer 1

Spark GraphX 没有内置的可视化方法，Zeppelin 也没有提供可视化的内置方法。如果您认为 GraphX（和一般的 Spark）的主要目的是处理分布在机器集群上的巨大数据集，那么这可能不是优先事项是有道理的。要在您的机器上可视化完整图，您必须将完整图收集到那台机器上，如果您可以轻松做到这一点，您真的需要分布式系统吗？

如果您仍然认为答案是肯定的，这里有一些可视化 GraphX 图形的示例：

• D3.js in Databrick's proprietary notebook - 应该能够在 Zeppelin/Jupyter 中做类似的事情
• Graphlab - 可以在IPython/Jupyter notebooks 中显示图表
• Gephi - 常用的独立可视化，但 no direct way to get your GraphX data in there