BaseX：插入节点性能问题

Question

当inserting XML 节点到 BaseX 数据库中的现有节点时，我遇到了一些性能问题。

用例

我有一个大的 XML 文件（大约 2GB），我从中创建了一个 BaseX 数据库。 XML 看起来像这样（简化）。它有大约 350.000 <record>s:

<collection>

  <record>
    <id>ABC007</id>
    <title>The title of the record</title>
    <author>Joe Lastname</author>
    ... [other information]
  </record>

  <record>
    <id>ABC555</id>
    <relation_id>ABC007</relation_id>
    <title>Another title</title>
    <author>Sue Lastname</author>
    ... [other information]
  </record>

  ... [many other <record>s]

</collection>

<record>s 彼此相关。一条记录中的<relation_id> 指向另一条记录中的<id>（参见上面的示例）。

我在 BaseX 中所做的是将信息从一条相关记录插入另一条记录，反之亦然。因此，结果如下所示：

<collection>

  <record>
    <id>ABC007</id>
    <title>The title of the record</title>
    <author>Joe Lastname</author>
    ... [other information]
    <related_record> <!-- Insert this information -->
        <title>Another title</title>
        <author>Sue Lastname</author>
    </related_record>
  </record>

  <record>
    <id>ABC555</id>
    <relation_id>ABC007</relation_id>
    <title>Another title</title>
    <author>Sue Lastname</author>
    ... [other information]
    <related_record> <!-- Insert this information -->
        <title>The title of the record</title>
        <author>Joe Lastname</author>
    </related_record>
  </record>

  ... [many other <record>s that should be enriched with other records data]

</collection>

我正在使用以下 Java 代码：

// Setting some options and variables
Context context = new Context();
new Set(MainOptions.AUTOFLUSH, false).execute(context);
new Set(MainOptions.AUTOOPTIMIZE, false).execute(context);
new Set(MainOptions.UPDINDEX, true).execute(context);

// Opening the database
new Open('database_name').execute(context);

// Get all records with <relation_id> tags. These are the "child" records and they contain the "parent" record ID.
String queryParentIdsInChild = "for $childRecord in doc('xmlfile.xml')//record[relation_id]
                                return db:node-id($childRecord)"

// Iterate over the child records and get the parent record ID
QueryProcessor parentIdsInChildProc = new QueryProcessor(queryParentIdsInChild, context);
Iter iter = parentIdsInChildProc.iter();
parentIdsInChildProc.close();

for(Item childRecord; (childRecord = iter.next()) != null;) {
    // Create a pointer to the child record in BaseX for convenience
    String childNodeId = childRecord.toString();
    String childNode = "db:open-id('database_name', " + childNodeId + ")";

    // Get some details from the child record. They should be added to the parent record.
    String queryChildDetails = "let $title := data("+childNode+"/title)"
        + " let $author := data("+childNode+"/author)"
        + " return "
        + "<related_record>"
        + "  <title>{$title}</title>"
        + "  <author>{$author}</author>"
        + "</related_record>";
    String childDetails = new XQuery(queryChildDetails).execute(context);   

    // Create a pointer to the parent record in BaseX for convenience
    parentNode = (... similar procedure like getting the child node, therefore skiping that code here)

    // PERFORMANCE ISSUE HERE!!!
    // Insert the child record details to the parent node
    String parentUpdate = "insert node " + childDetails + " into " + parentNode;
    new XQuery(parentUpdate).execute(context);
}

... flushing and optimizing code here

问题

问题是我在将新节点插入<record> 时遇到了巨大的性能问题。在具有大约 10.000 <record>s 的较小测试数据库中，插入执行得非常快 - 大约 7 秒。当我在生产数据库中使用大约 350.000 <record>s 运行相同的代码时，单个插入操作需要几秒钟，甚至几分钟！而且会有数千个这样的插入，所以肯定需要很长时间。

问题

我对 BaseX 很陌生，而且我肯定不是最有经验的 Java 程序员。也许我只是忽略了某些东西或犯了一些愚蠢的错误。所以我问是否有人对我有提示。可能是什么问题呢？是Java代码吗？或者是具有 350.000 <record>s 的 BaseX 数据库对于插入操作来说太大了？如果是：有解决方法吗？还是 BaseX（或一般的 XML 数据库）不适合这个用例？

更多信息

我在 Ubuntu 18.04 上以独立模式使用 BaseX 9.0.2。在运行上述代码之前，我已经完成了“全部优化”。

Answer 1

我认为我没有正确运行optimize。在我再次optimized 之后，insert 命令运行得非常快。现在，大约 10000 次插入在一秒钟内执行。也许我停用 UPDINDEX 和 AUTOOPTIMIZE 也有帮助。