【问题标题】:Java: splitting up a large XML file with SAXParserJava:使用 SAXParser 拆分大型 XML 文件
【发布时间】:2010-10-03 15:16:35
【问题描述】:

我正在尝试使用 java 的 SAXParser 将一个大的 XML 文件拆分为较小的文件(特别是未压缩的 28GB 的​​维基百科转储)。

我有一个扩展 DefaultHandler 的 Pagehandler 类:

private class PageHandler extends DefaultHandler {

   private StringBuffer text;
   ...

  @Override
  public void startElement(String uri, String localName, String qName, Attributes attributes) {

        text.append("<" + qName + ">");
  }

  @Override
  public void endElement(String uri, String localName, String qName) {

        text.append("</" + qName + ">");

        if (qName.equals("page")) {
            text.append("\n");
            pageCount++;
            writePage();
        }

        if (pageCount >= maxPages) {
            rollFile();
        }
    }

  @Override
  public void characters(char[] chars, int start, int length) {
        for (int i = start; i < start + length; i++) {
            text.append(chars[i]);
        }
    }
}

所以我可以写出元素内容没问题。我的问题是如何获取元素标签和属性——这些字符似乎没有被报告。充其量我将不得不从作为参数传递给startElement 的内容中重建这些 - 这似乎有点痛苦。还是有更简单的方法?

我要做的就是循环遍历文件并将其写出,每隔一段时间滚动输出文件。这有多难:)

谢谢

【问题讨论】:

  • VTD-XML 非常适合拆分大型 XML,扩展版支持最大 256 gb 的 xml,它还支持 mem-map,您也可以使用 xpath

标签: java xml parsing sax wikipedia


【解决方案1】:

我不太确定我完全理解您要做什么,但要获得限定名称作为字符串,您只需执行 qName.toString() 并获取属性名称您只需执行 atts.getQName(int index)。

【讨论】:

  • 感谢您。现在我的问题是元素包含正在被解析器解码的 xml 字符引用 - 所以我写出 ">" 而不是 >。知道如何解决这个问题吗?
  • @Richard:如果您使用 dom4j,正如我在回答中建议的那样,它会自动为您编码这些特殊字符。使用库而不是自己编写 XML 文档是另一个好处。
  • @Richard - 是的,同意。感谢您对此以及您对我的其他问题的回答。我正在尝试直接回显而不解码,然后尽可能重新编码。
【解决方案2】:

这里的问题是您自己编写 XML 元素。看看dom4j 的XMLWriter class - 虽然它有点旧,但通过调用它的startElement 和endElement 方法可以很容易地输出XML 文档。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2015-05-23
    • 2021-01-04
    • 2019-10-21
    • 2011-09-12
    • 2023-04-02
    • 2011-07-07
    • 2021-11-03
    • 1970-01-01
    相关资源
    最近更新 更多