大型 XML 文件的深度优先读取

Question

我需要处理一堆非常大的 XML 文件并深度优先读取每个元素。由于大小的原因，任何DOM 解决方案都是毫无疑问的，而且由于实际需要的元素不是“叶子”而是它的父元素，事情变得更加复杂。

更具体地说，文件的结构类似于

    <Level 1>
        ...
        <Level 2>
            ...
            <Level N-1>
                <value>...</value>
                <value>...</value>
                ...
                <value>...</value>
            </Level N-1>
            <Level N-1>
                <value>...</value>
                <value>...</value>
                ...
                <value>...</value>
            </Level N-1>
            ...
            <Level N-1>
                <value>...</value>
                <value>...</value>
                ...
                <value>...</value>
            </Level N-1>
            ...
        </Level 2>
    </Level 1>

在上述每个文件中，<Level N-1> 元素需要单独读取（每个都包括所有对应的<value> 元素）。深度，N，在每个文件中和文件之间都不同，所以它本质上是未知的，XML 标记名称也是如此。由于<value> 元素也存在于更高级别（即，它们不能保证已达到Level N），事情变得更加复杂。

在特定深度以字符串形式读取整个 XML 元素的快速解决方案类似于

int level = 0;  // The base level of the element, could be at any depth
Reader in = ... // The reader to the input
ByteArrayOutputStream outStream = new ByteArrayOutputStream();
PrintStream out = new PrintStream(outStream);
XMLEventReader reader = XMLInputFactory.newInstance().createXMLEventReader(in);
XMLEventWriter writer = XMLOutputFactory.newInstance().createXMLEventWriter(out);
XMLEvent event;

while ((level > 0) && reader.hasNext());
{
    event = reader.nextEvent();

    if (event.isStartElement())
    {
        level++;
    }
    else if (event.isEndElement())
    {
        level--;
    }

    writer.add(event);
}

writer.flush();

String element = new String(outStream.toByteArray());

但是，如果调用代码不知道已到达 Level N-1 元素并前进到 Level N（即到 <value> 元素），则上述内容没有帮助。

SAX 解决方案是理想的，但即使通过 XSLT 模板预处理文件也是可以接受的。

有什么想法吗？

Answer 1

所需的 XSLT 预处理在纯 XSLT 1.0 或 XSLT 2.0 中是不可能的，因为 XSLT 处理器（1.0 或 2.0）通常会在内存中生成整个 XML 文档的表示（不一定是 DOM）。

在 XSLT 3.0（仍然是 WD）中，流将作为语言的一部分，但 W3C XSLT WG 仍在积极开发中，规范还不稳定。

Saxon 有 streaming extensions 形式为处于“可流式传输模式”的流式模板：

<xsl:mode name="s" streamable="yes"/>

使用它可以生成 XML 文档，每个文档只包含以“N-1 级”元素为根的子树。

Answer 2

如果我正确理解了您的问题，那么当您到达 <value> 标记并完成关卡标记时，您将难以区分

当您识别出一个事件时，您可以从中获取更多信息，例如名称：

  if (event.isStartElement()) {
    StartElement element = (StartElement) event;
    System.out.println("Start Element: " + element.getName());
  }

如果你真正想要的是之前的最后一关，那你当然要坚持下去。