【发布时间】:2013-09-06 10:09:02
【问题描述】:
我有大量数据,想在 Neo4j 中创建一个模型来表示这些数据。
这将是大约 300 万个节点和超过 30 亿个关系。使用 Batch Inserter 构建它需要很长时间来导入数据然后创建节点和关系。
问题是:我能否将庞大的模型拆分为两个单独的模型,然后运行一个密码查询来同时访问这两个模型?如果是,我该怎么做?
【问题讨论】:
-
如果你给它足够的内存来映射文件,批量插入器可以插入 1M 节点/秒和 500k rels/秒。所以这应该不是什么大问题。
-
您是如何尝试使用批处理插入器的?
-
我必须从
Oracle DB获取数据,然后遍历返回的结果集,并创建节点。之后,我有另一个结果集表示将有关系的连接 ids跨度> -
Mohamed,我一直在以批量插入器的方式进行此操作,有一点需要注意速度,请将您的
rowFetchSize设置为大一些。默认情况下它是 10,我的十亿条记录的数据加载需要 13 个小时。我将它设置为 10,000,000,现在需要 20 分钟。
标签: neo4j data-modeling cypher batch-insert