从 XML 中快速检索数据

Question

我有示例 xml

<?xml version="1.0" encoding="UTF-8"?>
  <tag_1>
     <tag_2>A</tag_2>
     <tag_3>B</tag_3>
     <tag_4>C</tag_4>
     <tag_5>D</tag_5>
  </tag_1>
</xml>

现在我有兴趣只提取特定数据。

例如

tag_1/tag_5 -> D

tag_1/tag_5 是我的数据定义（我想要的唯一数据），它本质上是动态的，这意味着明天 tag_1/tag_4 将是我的数据定义。

所以实际上我的 xml 是一个大型数据集。而这些 xml 有效负载的速度为 50,000/小时到 80,000/小时。

我想知道是否已经有高性能的 xml 阅读器工具或我可以实现的一些特殊逻辑来根据数据定义提取数据。

目前我使用 Stax 解析器进行了实现，但解析 80,000 个 xml 需要将近一天的时间。

public class VTDParser {

    private final Logger LOG = LoggerFactory.getLogger(VTDParser.class);

    private final VTDGen vg;

    public VTDParser() {
        vg = new VTDGen();
    }

    public String parse(final String data, final String xpath) {
        vg.setDoc(data.getBytes());
        try {
            vg.parse(true);
        } catch (final ParseException e) {
            LOG.error(e.toString());
        }

        final VTDNav vn = vg.getNav();
        final AutoPilot ap = new AutoPilot(vn);
        try {
            ap.selectXPath(xpath);
        } catch (final XPathParseException e) {
            LOG.error(e.toString());
        }

        try {
            while (ap.evalXPath() != -1) {
                final int val = vn.getText();
                if (val != -1) {
                    return vn.toNormalizedString(val);
                }
            }
        } catch (XPathEvalException | NavException e) {
            LOG.error(e.toString());
        }
        return null;
    }
}

Answer 1

这是我对您的代码的修改，它编译一次 xpath 并多次重用。它编译 xpath 而不绑定到 VTDNav 实例。它还在退出解析方法之前调用 resetXPath。但是，我没有向您展示如何使用 VTD 对 xml 文档进行预索引...以避免重复解析...。我怀疑它可能是您的差异制造者项目...这是有关 vtd-xml 功能的论文参考。

http://recipp.ipp.pt/bitstream/10400.22/1847/1/ART_BrunoOliveira_2013.pdf

import com.ximpleware.*;


public class VTDParser {
      // private final Logger LOG = LoggerFactory.getLogger(VTDParser.class);

        private final VTDGen vg;
        private final AutoPilot ap;
        public VTDParser() throws VTDException{
            vg = new VTDGen();
            ap = new AutoPilot();
            ap.selectXPath("/a/b/c");// this is how you compile xpath w/o binding to an XML doc
        }

        public String parse(final String data, final AutoPilot ap1) {
            vg.setDoc(data.getBytes());
            try {
                vg.parse(true);
            } catch (final ParseException e) {
                LOG.error(e.toString());
            }

            final VTDNav vn = vg.getNav();
            ap1.bind(vn);
            try {
                while (ap.evalXPath() != -1) {
                    final int val = vn.getText();
                    if (val != -1) {
                        return vn.toNormalizedString(val);
                    }
                }
            } catch (XPathEvalException | NavException e) {
                LOG.error(e.toString());
            }
            ap.resetXPath();// reset your xpath here
            return null;
        }
}