【问题标题】:JDOM parses much slower than DOMJDOM 解析比 DOM 慢得多
【发布时间】:2018-08-29 11:32:00
【问题描述】:

我有两种方法可以使用DOMJDOM 解析同一个XML 文档。我预计JDOMDOM 运行得更快并且消耗的内存更少,但实际上JDOM 在我的基准测试中运行速度要慢几倍并且消耗的内存要多得多。我使用 JMH 作为基准测试框架。

import org.openjdk.jmh.annotations.*;
import org.openjdk.jmh.annotations.BenchmarkMode;
import org.openjdk.jmh.annotations.Mode;
import org.openjdk.jmh.annotations.OutputTimeUnit;
import org.openjdk.jmh.runner.Runner;
import org.openjdk.jmh.runner.RunnerException;
import org.openjdk.jmh.runner.options.Options;
import org.openjdk.jmh.runner.options.OptionsBuilder;
import java.io.File;
import java.util.concurrent.TimeUnit;
import java.io.IOException;
import java.util.List;

import javax.xml.parsers.DocumentBuilderFactory;
import javax.xml.parsers.DocumentBuilder;
import org.w3c.dom.Document;

import org.jdom2.Document;
import org.jdom2.Element;
import org.jdom2.JDOMException;
import org.jdom2.input.SAXBuilder;

@BenchmarkMode(Mode.SingleShotTime) 
@OutputTimeUnit(TimeUnit.MILLISECONDS)
@Warmup(iterations = 10, time = 1, timeUnit = TimeUnit.MILLISECONDS)
@Measurement(iterations = 1, time = 200, timeUnit = TimeUnit.MILLISECONDS)
@State(Scope.Benchmark)
public class MyBenchmark {

    @Param({"1.xml"})
    public String xml;

    @Benchmark 
    public void DOM(){

        try {
            File fXmlFile = new File(xml);
            DocumentBuilderFactory dbFactory = 
            DocumentBuilderFactory.newInstance();
            DocumentBuilder dBuilder = dbFactory.newDocumentBuilder();
            Document doc = dBuilder.parse(fXmlFile);
        } catch (Exception e) {
            e.printStackTrace();
        }

    @Benchmark 
    public void JDOM(){
        SAXBuilder builder = new SAXBuilder();
        File xmlFile = new File(xml);

        try {
            Document document = (Document) builder.build(xmlFile);
        } catch (IOException io) {
            System.out.println(io.getMessage());
        } catch (JDOMException jdomex) {
            System.out.println(jdomex.getMessage());
        }
    }
}

DOM 结果

Benchmark                                         (xml)  Mode  Cnt         Score          Error   Units
MyBenchmark.DOM                                   1.xml    ss   10       126.823 ±       16.821   ms/op
MyBenchmark.DOM:·gc.alloc.rate                    1.xml    ss   10        92.618 ±        2.481  MB/sec
MyBenchmark.DOM:·gc.alloc.rate.norm               1.xml    ss   10  60869076.800 ±      130.041    B/op

JDOM2 结果

Benchmark                                          (xml)  Mode  Cnt           Score           Error   Units
MyBenchmark.JDOM                                   1.xml    ss   10         789.941 ±        81.293   ms/op
MyBenchmark.JDOM:·gc.alloc.rate                    1.xml    ss   10        2248.753 ±       141.240  MB/sec
MyBenchmark.JDOM:·gc.alloc.rate.norm               1.xml    ss   10  3037712408.000 ±         0.001    B/op

文档大小为 12MB,包含 192,000 个元素。下面是 XML 文档的结构,该文档有 38,400 个级别 1 元素:

<?xml version="1.0" encoding="UTF-8"?>
<Root>
   <level_1 Element_Number="1">
      <level_2 Attribute_Level_2="Attribute_Level_2">
         <level_3_1 Attribute_Level_3="Attribute_Level_3">test</level_3_1>
         <level_3_2 Attribute_Level_3="Attribute_Level_3">test</level_3_2>
         <level_3_3 Attribute_Level_3="Attribute_Level_3">test</level_3_3>
      </level_2>
   </level_1>
   <level_1 Element_Number="2">
      <level_2 Attribute_Level_2="Attribute_Level_2">
         <level_3_1 Attribute_Level_3="Attribute_Level_3">test</level_3_1>
         <level_3_2 Attribute_Level_3="Attribute_Level_3">test</level_3_2>
         <level_3_3 Attribute_Level_3="Attribute_Level_3">test</level_3_3>
      </level_2>
   </level_1>

谁能解释一下?无论如何我都在使用 JDOM 2.0.2。

编辑: 小文档(5000 到 25,000 个元素)的 DOM 与 JDOM 基准测试

【问题讨论】:

  • 你解析了一次,1000次?
  • 我解析文档 100 次。
  • 您的循环是包括SAXBuilder builder = new SAXBuilder(); 并使用new File 读取文件还是只是解析文档的最后一步?
  • 其实没有循环,我在JMH中使用@Param将XML文档传递给方法。
  • 每个解析器都有启动成本,因此如果某些对象可以重复使用,那么您并没有衡量这些库的实际性能。同样正如@Michael Kay 所说,您可能会遇到一个解析器比另一个更好的情况,但这并不是说一个解析器总是更好。

标签: java xml dom jdom


【解决方案1】:

这与我的经验不符。请参阅http://www.saxonica.com/papers/xmlprague-2018mhk.pdf 的附录 A,其中我报告了 DOM 和 JDOM2 的解析/树构建时间相同。当然,这并不意味着您的数据是错误的,它只是意味着您所测量的数据中存在某些特定的东西,可能无法推断到不同的场景。

但是你为什么对给我们实际数字这么害羞呢?文件大小是多少,实际尺寸是多少?我正在测量一个 10Mb XMark 源文档:你测量的是什么?

==UPDATE==

我现在意识到我不是使用 JDOM2 提供的树构建器来构建 JDOM2 树,而是使用 Saxon 的 JDOM2 树构建器来构建它。所以我将其更改为使用 JDOM2 构建器 - 现在它运行得更快一些:在 89.1 到 91.2 毫秒之间,而 DOM 为 111.8 毫秒。

但我也在使用 Saxon 的 DOM 构建器,而不是本地的。所以让我们也改变一下。 DOM 的时间现在下降到 74 毫秒,这与您的数字相当。

我认为(根据我的阅读)DOM 构建器更快的原因是它使用了惰性构建技术:也就是说,它会将一些工作留待以后完成,在第一次访问数据时。这就是为什么对 DOM 的读访问不是线程安全的。即使您只在 API 级别使用读取方法,它们也会导致存储树的内部更新。

【讨论】:

  • 嗨迈克尔,我添加了基准测试结果。可以看看吗?
  • 内存使用的差异是荒谬的。我认为发布您用于基准测试的代码是一个好主意,这样我们就可以看看其他人是否可以重现结果。您对 DOM 的测量与我的非常接近;您对 JDOM2 的测量结果完全不同。
  • 我添加了我用来测量的代码。我还对 DOM4J 进行了基准测试,实际上它的解析速度比 DOM 慢,并且消耗的内存略多,这是我没有预料到的。你能解释一下为什么 DOM 在将整个 DOM 树解析到内存方面如此高效吗?
  • 我没有成功让 JMH 在我的开发环境中运行,但我在自己的基准测试框架下重新运行了我的测量并确认了我的结果:DOM 105ms,JDOM 108ms。
  • 您使用与我相同的 JDOM 设置吗? SAXBuilder builder = new SAXBuilder(); File xmlFile = new File(xml);
猜你喜欢
  • 1970-01-01
  • 2017-03-13
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-12-18
  • 2015-05-29
  • 2011-10-27
  • 1970-01-01
相关资源
最近更新 更多