使用 Java 拆分 1GB 的 XML 文件

Question

我有一个 1GB 的 Xml 文件，如何使用 Java 将其拆分为格式良好、尺寸更小的 Xml 文件？

这是一个例子：

<records>
  <record id="001">
    <name>john</name>
  </record>
 ....
</records>

谢谢。

Answer 1

对于这种情况，我会使用 StAX 解析器。它将防止一次将整个文档读入内存。

1. 将 XMLStreamReader 推进到子片段的本地根元素。
2. 然后您可以使用 javax.xml.transform API 从这个 XML 片段生成一个新文档。这会将 XMLStreamReader 推进到该片段的末尾。
3. 对下一个片段重复第 1 步。

代码示例

对于以下 XML，将每个“语句”部分输出到以“帐户属性值”命名的文件中：

<statements>
   <statement account="123">
      ...stuff...
   </statement>
   <statement account="456">
      ...stuff...
   </statement>
</statements>

这可以通过以下代码完成：

import java.io.File;
import java.io.FileReader;
import javax.xml.stream.XMLInputFactory;
import javax.xml.stream.XMLStreamConstants;
import javax.xml.stream.XMLStreamReader;
import javax.xml.transform.Transformer;
import javax.xml.transform.TransformerFactory;
import javax.xml.transform.stax.StAXSource;
import javax.xml.transform.stream.StreamResult;

public class Demo {

    public static void main(String[] args) throws Exception  {
        XMLInputFactory xif = XMLInputFactory.newInstance();
        XMLStreamReader xsr = xif.createXMLStreamReader(new FileReader("input.xml"));
        xsr.nextTag(); // Advance to statements element

        TransformerFactory tf = TransformerFactory.newInstance();
        Transformer t = tf.newTransformer();
        while(xsr.nextTag() == XMLStreamConstants.START_ELEMENT) {
            File file = new File("out/" + xsr.getAttributeValue(null, "account") + ".xml");
            t.transform(new StAXSource(xsr), new StreamResult(file));
        }
    }

} 

Answer 2

试试这个，使用 Saxon-EE 9.3。

<xsl:stylesheet version="3.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
    <xsl:mode streamable="yes"/>
    <xsl:template match="record">
      <xsl:result-document href="record-{@id}.xml">
        <xsl:copy-of select="."/>
      </xsl:result-document>
    </xsl:template>
</xsl:stylesheet>

该软件不是免费的，但如果它可以为您节省一天的编码时间，您就可以轻松证明投资的合理性。 （为推销道歉）。

Answer 3

DOM、Stax、SAX 都可以，但各有利弊。

1. 在 DOM 的情况下，您不能将所有数据都放在内存中。
2. 在 DOM、Stax 和 SAX 的情况下，编程控制更容易。
3. 结合使用 SAX 和 DOM 是更好的选择。
4. 使用已经执行此操作的框架可能是最佳选择。看看smooks。http://www.smooks.org

希望对你有帮助

Answer 4

我非常不同意 Blaise Doughan 的观点。 SAX 不仅难以使用，而且非常缓慢。使用 VTD-XML，您不仅可以使用 XPath 简化处理逻辑（非常常见的 10 倍代码缩减），而且速度更快，因为没有冗余的编码/解码转换。下面是带有 vtd-xml 的 java 代码

import java.io.FileOutputStream;
import com.ximpleware.*; 

public class split {
    public static void main(String[] args) throws Exception {       
        VTDGen vg = new VTDGen();       
        if (vg.parseHttpUrl("c:\\xml\\input.xml", true)) {
            VTDNav vn = vg.getNav();
            AutoPilot ap = new AutoPilot(vn);
            ap.selectXPath("/records/record");
            int i=-1,j=0;
            while ((i = ap.evalXPath()) != -1) {
            long l=vn.getElementFragment();
                (new FileOutputStream("out"+j+".xml")).write(vn.getXML().getBytes(), (int)l,(int)(l>>32));
                j++;
            }
        }
    }
}