火花流到neo4j答案

【问题标题】：spark streaming to neo4j火花流到neo4j
【发布时间】：2015-06-07 03:43:28
【问题描述】：

我需要将 Spark Streaming 输出作为图形实时输入到 Neo4j。有没有办法做到这一点。如果是这样，你能分享一些示例代码吗？我见过 Mazerunner，但它只将来自 Neo4j 的图形数据输入到 Spark-Graphx。谢谢。

【问题讨论】：

【解决方案1】：

Mazerunner 还会写回数据。

最简单的方法是使用 Neo4j 连接器连接到 Neo4j 服务器并同时写回数据。 Neo4j 2.2+ 可以维持（相当）高并发写入负载。

对于 Scala，您可以使用 AnormCypher，对于 Python，您可以使用 py2neo

我目前正在研究 Neo4j 的 spark 集成，因此如果您能详细说明一下您的用例，将会很有帮助。例如。你使用普通 Spark (RDD / DStream) 还是 GraphX？

【讨论】：

感谢您的回答。用例是 - 我想使用 spark 流从流式 twitter 数据构建一个共现图（在推文中 - 单词将成为节点，如果单词来自同一条推文，我们在它们之间添加一条边）。一旦我们进行了转换，我需要将其推送到 Neo4j 中。我正在使用 DStreams，因为我正在使用火花流。
mazerunner 还写回数据是什么意思 - mazerunner 是否将 graphx 输出写入相应的 Neo4j 节点。
我需要一种将 spark 流连接到 neo4j 的方法。我无法理解“最简单的方法是使用 Neo4j 连接器连接到 Neo4j 服务器并同时写回数据。Neo4j 2.2+ 可以维持（相当）高并发写入负载。”帮助我的用例
为什么不呢？我的意思是你可以使用一个库来从 Spark 连接和写入 Neo4j（我提到了两个）。
谢谢。您能否分享一些关于如何使用 py2neo 从 spark 流式传输数据到 Neo4j 的示例？