微基准 Clojure 函数

Question

问题

像assoc 这样的小 Clojure 函数有多快？我怀疑assoc 在 100ns 到 3us 范围内运行，这使得计时很困难。

使用time

user=> (def d {1 1, 2 2})
#'user/d
user=> (time (assoc d 3 3))
"Elapsed time: 0.04989 msecs"
{1 1, 2 2, 3 3}

那里显然有很多开销，所以我不相信这个基准。朋友们向我指出了Criterium，它处理了许多基准测试的痛苦（多次评估、预热 JVM、GC 参见How to benchmark functions in Clojure?）。

使用Criterium

可悲的是，在这么小的基准上，甚至 Criterium 似乎都失败了

user=> (use 'criterium.core)
nil
user=> (def d {1 1 2 2})
#'user/d
user=> (bench (assoc d 3 3))
WARNING: JVM argument TieredStopAtLevel=1 is active, and may lead to unexpected results as JIT C2 compiler may not be active. See http://www.slideshare.net/CharlesNutter/javaone-2012-jvm-jit-for-dummies.
WARNING: Final GC required 1.694448681330372 % of runtime
Evaluation count : 218293620 in 60 samples of 3638227 calls.
             Execution time mean : -15.677491 ns
    Execution time std-deviation : 6.093770 ns
   Execution time lower quantile : -20.504699 ns ( 2.5%)
   Execution time upper quantile : 1.430632 ns (97.5%)
                   Overhead used : 123.496848 ns

万一你错过了，这个操作平均需要 -15ns。我知道 Clojure 非常神奇，但负运行时似乎有点好得令人难以置信。

重复问题

真的，assoc 需要多长时间？如何在 Clojure 中对微操作进行基准测试？

Answer 1

为什么不把它包装在一个循环中并重新规范化？

在我的硬件上，

(bench (dotimes [_ 1000] (assoc d 3 3)))

平均执行时间大约是 1000 倍

(bench (assoc d 3 3))

即，第一种情况约为 100 µs，第二种情况约为 100 ns。如果您的 single-assoc 对 Criterium 来说是“噪音”，您可以尝试以相同的方式包装它并非常接近“内在”值。 （(dotimes [_ 1000] 1) 的时钟频率为 0.59 µs，因此循环本身带来的额外开销相对较小。）

Answer 2

Criterium 尝试通过自己的测量来消除开销。这可能会导致快速函数的负面结果。请参阅自述文件的Measurement Overhead Estimation 部分。您的开销非常高。您可能会运行 (estimatated-overhead!) [sic] 几次以获取更准确的开销数字。

Answer 3

Andy Fingerhut 已经维护了其中的一些。

• 首页 - http://jafingerhut.github.io/clojure-benchmarks-results/Clojure-benchmarks.html
• 结果 - http://jafingerhut.github.io/clojure-benchmarks-results/Clojure-expression-benchmark-graphs.html

ClojureScript：

• 项目 - https://github.com/netguy204/cljs-bench
• 结果 - http://www.50ply.com/cljs-bench/