Neo4j，使用 Cypher 命令批量加载

Question

我是 Neo4j 的新手，对基础知识肯定有一些我不了解的地方。

我有很多 Java 对象，我想使用 Java 驱动程序和 Cypher 使用它们来填充 Neo4j 图形。我的代码是这样工作的：

// nodes
for ( Person person: persons )
  session.run ( String.format ( 
    "CREATE ( :Person { id: '%s', name: \"%s\", surname: \"%s\" })",
    person.getId(), person.getName(), person.getSurname ()
  ));

// relations
session.run ( "CREATE INDEX ON :Person(id)" );

for ( Friendship friendship: friendships )
  session.run ( String.format ( 
    "MATCH ( from:Person { id: '%s' } ), ( to:Person { id: '%s' } )\n" +
    "CREATE (from)-:KNOWS->(to)\n",
    friendship.getFrom().getId(), 
    friendship.getTo().getId() 
  )); 

（确实，它稍微复杂一些，因为我有十几种节点类型和大约相同数量的关系类型）。

现在，这非常慢，比如加载 300k 节点和 1M 关系需要 1 个多小时（在相当快的 MacBookPro 上，Neo4j 占用 12/16GB 的 RAM）。

我做错了吗？我应该改用batch inserter 吗？ （我希望能够通过网络访问graphDB）。我会通过将更多插入分组到一个事务中来获得一些东西吗？ （从文档看来，事务似乎只对回滚和隔离需求有用）。

Answer 1

我认为值得报告我在这方面的经验。

我已遵循@sjc 的建议并尝试使用 UNWIND。然而，这并不是那么简单，因为 Cypher 不允许您参数化节点标签或关系类型（我有十几个标签和关系类型）。但最终，我能够遍历所有可能的类型并向每个 UNWIND 块发送足够的项目（大约 1000 个）。

在我看来，使用 UNWIND 的代码要快得多，但还不够快（在具有几百万个节点的体面 PC 上应该没问题，对于数亿个或更多节点来说不是很好）。

插入器组件要快得多（上传 1-2 百万个节点只需几秒钟），尽管它需要关闭 HTTP 访问，而且我在它对 Lucene 5.4 的依赖方面遇到了很多问题，因为我需要在使用 Lucene 6 的应用程序（生成数据）中使用它，当我尝试在类路径中简单地将 5.4 与 6 交换时，发生了可怕的事情。我读过there is some mechanism to make this possible，但它似乎并不容易，而且文档当然也没有那么好。

我绝对没想到高效执行这样一个基本操作会遇到这么多麻烦。

Answer 2

我来自 Python 中的 Neo4j，但我认为这里的问题在于您的 Cypher 命令。我有两个建议。

单独匹配边缘可能会更快。在我的原始基准测试中，我看到了 24 毫秒和 15 毫秒的差异（编辑：这个基准是可疑的）：

MATCH ( from:Person { id: '%s' } )
MATCH ( to:Person { id: '%s' } )
CREATE (from)-:KNOWS->(to)

另一个选项是使用 UNWIND。我将它与 BOLT 接口一起使用以发送更少的事务，但不使用 Batch Inserter。请原谅我在此处复制的 Python 实现，希望您可以将其与 Javascript Neo4j 驱动程序文档一起查看以进行转换。

payload = {"list":[{"a":"Name1","b":"Name2"},{"a":"Name3","b":"Name4"}]}

statement = "UNWIND {list} AS d "
statement += "MATCH (A:Person {name: d.a}) "
statement += "MATCH (B:Person {name: d.b}) " 
statement += "MERGE (A)-[:KNOWS]-(B) "

tx = session.begin_transaction()
tx.run(statement,payload)
tx.commit()