【问题标题】:Splitting Big Model in Neo4j在 Neo4j 中拆分大模型
【发布时间】:2013-09-06 10:09:02
【问题描述】:

我有大量数据,想在 Neo4j 中创建一个模型来表示这些数据。

这将是大约 300 万个节点和超过 30 亿个关系。使用 Batch Inserter 构建它需要很长时间来导入数据然后创建节点和关系。

问题是:我能否将庞大的模型拆分为两个单独的模型,然后运行一个密码查询来同时访问这两个模型?如果是,我该怎么做?

【问题讨论】:

  • 如果你给它足够的内存来映射文件,批量插入器可以插入 1M 节点/秒和 500k rels/秒。所以这应该不是什么大问题。
  • 您是如何尝试使用批处理插入器的?
  • 我必须从Oracle DB 获取数据,然后遍历返回的结果集,并创建节点。之后,我有另一个结果集表示将有关系的连接 ids跨度>
  • Mohamed,我一直在以批量插入器的方式进行此操作,有一点需要注意速度,请将您的 rowFetchSize 设置为大一些。默认情况下它是 10,我的十亿条记录的数据加载需要 13 个小时。我将它设置为 10,000,000,现在需要 20 分钟。

标签: neo4j data-modeling cypher batch-insert


【解决方案1】:

恐怕 Neo4j 本身不支持跨数据库的多个实例分区图(目前)。

但是,3M 节点和 3B 边并不是一个庞大的数据量。 “太长”到底是什么意思?

【讨论】:

  • 我的意思是创建这些关系需要很长时间,最后它无法成功完成..
猜你喜欢
  • 1970-01-01
  • 2017-10-14
  • 1970-01-01
  • 2016-09-15
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多