使用“时间”测量在 Clojure 中执行的进程的时间

Question

以下是我正在开发的应用程序的简化版本。具体来说，我有兴趣对process-list 的执行时间进行基准测试。在函数process-list 中，我将输入列表划分为等于我希望并行执行的线程数的分区。然后我通过调用future 将每个分区传递给一个线程。最后，在main 中，我调用process-list 并用time 包裹它。 Time 应该返回process-list 完成的处理经过的时间，但显然，它只返回创建未来线程所需的时间，而不是等待未来执行完成。如何取消对 process-list 中的期货的引用，以确保未来线程执行完成所经过的时间？

(ns listProcessing
  (:require [clojure.string]
            [clojure.pprint]
            [input-random :as input]))

  (def N-THREADS 4)      
  (def element_processing_retries (atom 0))

  (def list-collection
     "Each element is made into a ref"
     (map ref input/myList))

  (defn partition-list  [threads list]
      "partition list into required number of partitions which is equal 
      to the number of threads"
      (let [partitions (partition-all 
         (Math/ceil (/ (count list) threads))  list)]
            partitions))
 (defn increase-element [element]
     (ref-set element inc))

 (defn process-list [list]
      "Process `members of list` one by one."
      (let [sub-lists (partition-list N-THREADS list)]
      (doseq [sub-list sub-lists]
        (let [futures '()
              myFuture        (future (dosync  (swap! element_processing_retries inc)
              (map increase-element sub-list)))]
              (cons myFuture futures) 
              (map deref futures))))) 


  (defn main []      
       (let [f1 (future (time (process-list input/mylist)))]        
        @f1)       
  (main)    
  (shutdown-agents)

下面是一个简化的列表输入示例：注意这里的输入是简化的，列表处理也是为了简化问题。

(ns input-random)
(def myList (list 1 2 4 7 89 12 34 45 56))

Answer 1

这会有一些开销。如果您尝试time 毫秒差异，这会有点偏差（尽管分钟计时不应该使用time）。

我认为您的示例有点令人费解，因此我将其简化为我认为更好地代表问题的内容：

(time (doseq [n (range 5)]
        (future
          (Thread/sleep 2000))))

"Elapsed time: 1.687702 msecs"

这里的问题与您的代码的问题相同：所有这一切都是时间doseq 调度所有作业需要多长时间。

我的 hack 的想法是将每个完成的作业放入一个原子中，然后在忙碌的等待中检查结束条件：

(defn do-stuff [n-things]
  (let [ret-atom (atom 0)]
    (doseq [n (range n-things)]
      (future
        (Thread/sleep 2000)
        (swap! ret-atom inc)))

    ret-atom))

; Time how long it takes the entire `let` to run
(time
  (let [n 5
        ret-atom (do-stuff n)]

    ; Will block until the condition is met
    (while (< @ret-atom n))))

"Elapsed time: 2002.813288 msecs"

这很难计时的原因是你所做的只是在doseq 中增加一些副作用。没有定义什么是“完成”，所以没有什么可以阻止的。我对core.async 不太满意，但我怀疑那里可能会有一些帮助。有可能调用<!! 会阻塞，直到通道具有一定数量的元素。在这种情况下，您只需在生成结果时将其放入通道中。