在java和python中解析非常大的bz2 xml文件（逐个元素）

Question

我有一个 20gb bz2 xml 文件。格式是这样的：

<doc id="1" url="https://www.somepage.com" title="some page">
text text text ....
</doc>

我需要将它处理成这种格式的tsv文件：

id<tab>url<tab>title<tab>processed_texts

在 python 和 java 中最有效的方法是什么，有什么区别（内存效率和速度方面）。基本上我想这样做：

read bz2 file
read the xml file element by element
for each element
    retrieve id, url, title and text
    print_to_file(id<tab>url<tab>title<tab>process(text))

提前感谢您的回答。

UPDATE1（基于@Andreas 的建议）：

XMLInputFactory factory = XMLInputFactory.newFactory();
XMLStreamReader xmlReader = factory.createXMLStreamReader(in);
xmlReader.nextTag(); 
    if (! xmlReader.getLocalName().equals("doc")) {
        xmlReader.nextTag(); }

        String id      = xmlReader.getAttributeValue(null, "id");
        String url     = xmlReader.getAttributeValue(null, "url");
        String title   = xmlReader.getAttributeValue(null, "title");
        String content = xmlReader.getElementText();
        out.println(id +  '\t' + content);

问题是我只得到第一个元素。

UPDATE2（我最终使用正则表达式）：

if (str.startsWith("<doc")) {
                id = str.split("id")[1].substring(2).split("\"")[0];
                url = str.split("url")[1].substring(2).split("\"")[0];
                title = str.split("title")[1].substring(2).split("\"")[0];
     }
else if (str.startsWith("</doc")) {
                out.println(uniq_id +  '\t' + contect);
                content ="";

      } 
else {
                content = content + " " + str;
      }

Answer 1

注意：下面的答案适用于解析非常大的 BZ2 压缩 XML 文档，但是 OP 的 XML 文件格式不正确，因为没有根元素，即它是一个 XML 片段。

内置的 StAX 解析器不支持 XML 片段，但是 Woodstox XML processor 应该支持这一点，根据这个答案：Parsing multiple XML fragments with STaX。

---

Java 答案

正如在这个问题 (Uncompress BZIP2 archive) 中的回答，您需要 Apache Commons Compress™ 才能读取 BZ2 文件。

然后您将使用内置的StAX 解析器：

File xmlFile = new File("input.xml");
File textFile = new File("output.txt");
try (InputStream in = new BZip2CompressorInputStream(new FileInputStream(xmlFile));
     PrintWriter out = new PrintWriter(new FileWriter(textFile))) {

    XMLInputFactory factory = XMLInputFactory.newFactory();
    XMLStreamReader xmlReader = factory.createXMLStreamReader(in);
    try {
        xmlReader.nextTag(); // Read root element, ignore it
        if (xmlReader.getLocalName().equals("doc"))
            throw new IllegalArgumentException("Expected root element, found <doc>");
        while (xmlReader.nextTag() == XMLStreamConstants.START_ELEMENT) {
            if (! xmlReader.getLocalName().equals("doc"))
                throw new IllegalArgumentException("Expected <doc>, found <" + xmlReader.getLocalName() + ">");
            String id      = xmlReader.getAttributeValue(null, "id");
            String url     = xmlReader.getAttributeValue(null, "url");
            String title   = xmlReader.getAttributeValue(null, "title");
            String content = xmlReader.getElementText();
            // process content value
            out.println(id + '\t' + url + '\t' + title + '\t' + content);
        }
    } finally {
        xmlReader.close();
    }
}

快速且低内存占用。