将属性添加到节点时，由于 Lucene 日志导致 Neo4j 数据库爆炸答案

【问题标题】：Neo4j database exploding due to Lucene logs when properties are added to nodes将属性添加到节点时，由于 Lucene 日志导致 Neo4j 数据库爆炸
【发布时间】：2015-06-21 18:45:39
【问题描述】：

我遇到了 Neo4j 的问题，由于生成了许多大型 lucene.log.vXXX 文件，目录 graph.db/index/ 的大小急剧增加。这发生在根本不使用索引的计算中，而只是将数值属性添加到网络中的某些节点。

在运行 Ubuntu Linux（14.04.1 和 14.04.2）的两台不同的 64 位计算机上，版本 2.1.3、2.1.7 和 2.2.0 可重现此问题。

我的数据库：

16’636’351 个节点，具有 4 个属性：id（字符串）、名称（字符串）、国家代码（字符串）和类型（字符串）。
14'724'489 个加权链接。

这会产生一个 11 GB 的 graph.db 目录。目录 graph.db/index/ 大小为 2.4 GB。

我使用嵌入在 Java 中的 Neo4j，并且总是按如下方式实例化：

        String i1 = "id";
        String i2 = "name";
        String i3 = "country";
        String i4 = "type";
        String myIndeables = i1 + "," + i2 + "," + i3 + "," + i4;
        GraphDatabaseService gdbs = new GraphDatabaseFactory().newEmbeddedDatabaseBuilder(cfg.dbPath).
                setConfig(GraphDatabaseSettings.node_keys_indexable, myIndeables).
                setConfig(GraphDatabaseSettings.node_auto_indexing, "true").
                setConfig(GraphDatabaseSettings.relationshipstore_mapped_memory_size, "12G").
                ...
                newGraphDatabase();

这种方式也用于创建（即导入）原始的 11 GB 数据库。

到目前为止一切顺利。

现在我对数据库执行计算。忽略细节，算法为网络最大连接组件（6'118'740 个节点）中的所有节点计算一种中心性度量。

问题：
只需将这些新计算的数字作为属性添加到 6'118'740 个节点（总共 16'636'351 个节点中）会导致数据库爆炸到 249 GB 和 243 GB 的 graph.db/index/ 目录（由于到 lucene.log.vXXX 文件）！！！

但是，如果我在没有索引的情况下按如下方式实例化...

        gdbs = new GraphDatabaseFactory().newEmbeddedDatabaseBuilder(cfg.dbPath).
                setConfig(GraphDatabaseSettings.relationshipstore_mapped_memory_size, "12G").
                ...
                newGraphDatabase();

...结果是 6.9 GB 的数据库大小（回想一下原来是 11 GB！），其中现在只有 2.2 GB 用于 graph.db/index/!!!

这里发生了什么？

附言
附加信息：

Java 版本：Java(TM) SE Runtime Environment (build 1.7.0_76-b13) 和 OpenJDK Runtime Environment (IcedTea 2.5.4) (7u75-2.5.4-1~trusty1)
jar 文件是从 Eclipse 导出的。
当从 11 GB 数据库转到 249 GB 版本时，日志没有提供任何线索。

【问题讨论】：

标签： java indexing lucene neo4j embedded-resource

【解决方案1】：

默认情况下，Neo4j 将逻辑日志保留 7 天（旧版本具有不同的值）。由于您启用了自动索引，因此对节点的任何更新都可能导致索引更新 - 如果您仅更改非索引属性，则该索引可能为空。

为防止这种情况关闭数据库，请制作备份副本并删除lucene.log.vXXX 文件。在您的启动代码中修改 keep_logical_logs=false 作为配置选项。

【讨论】：