Haskell——产生更少火花的平行映射

Question

我想在 Haskell 中编写一个尽可能高效的并行映射函数。我最初的尝试，似乎是目前最好的，就是简单地写，

pmap :: (a -> b) -> [a] -> [b]
pmap f = runEval . parList rseq . map f

但是，我没有看到完美的 CPU 划分。如果这可能与火花的数量有关，我是否可以编写一个 pmap 将列表划分为 # of cpus 段，从而创建最少的火花？我尝试了以下方法，但性能（和火花数）要差得多，

pmap :: (a -> b) -> [a] -> [b]
pmap f xs = concat $ runEval $ parList rseq $ map (map f) (chunk xs) where
    -- the (len / 4) argument represents the size of the sublists
    chunk xs = chunk' ((length xs) `div` 4) xs
    chunk' n xs | length xs <= n = [xs]
                | otherwise = take n xs : chunk (drop n xs)

较差的性能可能与较高的内存使用量相关。原始 pmap 在 24 核系统上确实可以扩展，所以并不是我没有足够的数据。 （我桌面上的 CPU 数量是 4，所以我只是硬编码）。

编辑 1

使用+RTS -H512m -N -sstderr -RTS 的一些性能数据在这里：

• my 4-core desktop
• 24-core server

Answer 1

parallel 包为您定义了许多并行映射策略：

parMap :: Strategy b -> (a -> b) -> [a] -> [b]

parList 和 map 的组合，以及对列表分块的特定支持：

parListChunk :: Int -> Strategy a -> Strategy [a]

将列表分成块，并将策略evalList strat并行应用于每个块。

您应该能够使用这些组合来获得您想要的任何激发行为。或者，为了获得更多控制，the Par monad 包，用于控制（纯粹）创建的线程数量。

---

参考资料：haddock docs for the parallel package