Perl 中大型 XML 文档的解析时间

Question

我有一个包含大约 150 万行的大型 XML 文件。 文件的基本骨架是

<org>
   <dept>
      <emp> ... </emp>
      <emp> ... </emp>
      ...
   </dept>
</org> 

每个<emp> 节点甚至可以有多达80 万行

我需要解析整个数据并将其保存在哈希中。

我尝试过使用XML::Simple（我不允许使用其他模块，例如XML::Twig 或XML::libXML）。

问题在于解析整个文件大约需要 5.5 分钟。我需要将它降低到 30 秒左右。

我尝试将其拆分为多个文件，每个文件包含一个 <emp> .. </emp> 部分。例如，我有大约 100 个文件。

然后我使用fork 并使用 100 个子进程来解析每个文件。

我将总时间减少到 1.5 分钟左右，但我还没有找到一些方法将数据从子进程传回父进程。

Answer 1

最明显的解决方案是使用XML::Twig，它是为这样的目的而设计的。它允许您声明在规定的 XML 元素关闭时调用的回调子例程，并且不会尝试将完整的结构读入内存。

如果没有适当的数据样本，我将无能为力，但您似乎会为 dept 和 emp 元素声明回调。