【问题标题】:How to create billions of nodes in Neo4j?Neo4j 如何创建数十亿个节点?
【发布时间】:2015-03-29 23:36:04
【问题描述】:

我想用大量节点测试 Neo4j 的性能。我正在考虑创建数十亿个节点,然后想看看获取满足某些标准的节点需要多少时间。就像 10 亿个节点标记为具有 SSN 属性的人

match (p:Person) where p.SSN=4255556656425 return p;

但是如何创建10亿个节点,有没有办法生成10亿个节点?

【问题讨论】:

    标签: neo4j cypher spring-data spring-data-neo4j


    【解决方案1】:

    另一个简单的答案是一个很好的答案。如果你想要更多的参与,Michael Hunger posted a good blog entry on this。他推荐了一些基本上非常相似的东西,但是您也可以循环使用一些样本数据,并使用随机数来建立联系。

    以下是他如何创建 100,000 个用户和产品并将它们链接起来,根据您的需要进行自定义:

    WITH ["Andres","Wes","Rik","Mark","Peter","Kenny","Michael","Stefan","Max","Chris"] AS names
    FOREACH (r IN range(0,100000) | CREATE (:User {id:r, name:names[r % size(names)]+" "+r}));
    
    with ["Mac","iPhone","Das Keyboard","Kymera Wand","HyperJuice Battery",
    "Peachy Printer","HexaAirBot",
    "AR-Drone","Sonic Screwdriver",
    "Zentable","PowerUp"] as names
        foreach (r in range(0,50) | create (:Product {id:r, name:names[r % size(names)]+" "+r}));
    

    别忘了甜蜜的随机链接:

    match (u:User),(p:Product)
    where rand() < 0.1
    with u,p
    limit 50000
    merge (u)-[:OWN]->(p);
    

    发疯。

    【讨论】:

      【解决方案2】:

      那时您要测量的是 lucene 索引的性能。 所以不是图形数据库操作。

      有多种选择:

      neo4j 导入

      Neo4j 2.2.0-M03 附带 neo4j-import,这是一个可以快速、可扩展地将 10 亿节点 csv 导入 Neo4j 的工具。

      并行批量导入器 API

      这在 Neo4j 2.2 中是非常新的

      我使用新的 ParallelBatchImporter 在 5 分钟 13 秒 (53G db) 内创建了一个仅包含 1.000.000.000 个节点的节点图。这使得它大约每秒 320 万个节点。

      代码在这里:https://gist.github.com/jexp/0ff850ab2ce41c9ca5e6

      批量插入器

      您可以使用 Neo4j Batch-Inserter-API 创建该数据,而无需先创建 CSV。

      在此处查看此示例,您必须采用该示例才能不读取 CSV,而是直接从 for 循环生成数据:http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/

      密码

      如果您想使用 Cypher,我建议您在 JAVA_OPTS="-Xmx4G -Xms4G" bin/neo4j-shell -path billion.db 中运行类似的内容:

      这是我在我的 macbook 上使用的 10M 和 100M 的代码和时间:

      创建一个 1M 行的 csv 文件

      ruby -e 'File.open("million.csv","w") 
         { |f| (1..1000000).each{|i| f.write(i.to_s + "\n") }  }' 
      

      在 MacBook Pro 上运行的实验 Cypher 执行是单线程的 估计大小 (15+42) 字节 * 节点数

      // on my laptop
      // 10M nodes, 1 property, 1 label each in 98228 ms (98s) taking 580 MB on disk
      
      using periodic commit 10000
      load csv from "file:million.csv" as row
      //with row limit 5000
      foreach (x in range(0,9) | create (:Person {id:toInt(row[0])*10+x}));
      
      // on my laptop
      // 100M nodes, 1 property, 1 label each in 1684411 ms (28 mins) taking 6 GB on disk
      
      using periodic commit 1000
      load csv from "file:million.csv" as row
      foreach (x in range(0,99) | create (:Person {id:toInt(row[0])*100+x}));
      
      // on my linux server
      // 1B nodes, 1 property, 1 label each in 10588883 ms (176 min) taking 63 GB on disk
      
      using periodic commit 1000
      load csv from "file:million.csv" as row
      foreach (x in range(0,999) | create (:Person {id:toInt(row[0])*100+x}));
      

      创建索引

      create index on :Person(id);
      schema await
      
      // took about 40 mins and increased the database size to 85 GB
      

      那我可以跑了

      match (:Person {id:8005300}) return count(*);
      +----------+
      | count(*) |
      +----------+
      | 1        |
      +----------+
      1 row
      2 ms
      

      【讨论】:

      • 当您的节点之间有许多关系时,CSV 导入会变得非常复杂。根据我的经验,批处理插入器是最糟糕的,因为它不支持线程(在我看来这违背了目的)。此外,当每个节点的内容约为 1kb 而不是单个数字时,性能也会变得更差。我从未使用过 parallel-batch-importer,但看起来很有希望。
      • 是的,并行批处理插入器使用所有可用的 cpu 和磁盘 io。
      猜你喜欢
      • 1970-01-01
      • 2018-01-27
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-08-27
      • 1970-01-01
      • 2014-04-15
      相关资源
      最近更新 更多