为什么这个 Haskell 代码这么慢？

Question

我对 Haskell 有点陌生，并尝试制作一个拼字游戏求解器。它接收您当前拥有的字母，找到它们的所有排列并过滤掉那些字典单词。代码很简单：

import Data.List

main = do
    dict    <- readFile "words"
    letters <- getLine
    let dictWords = words dict
    let perms = permutations letters
    print [x | x <- perms, x `elem` dictWords]

但是，与我使用 Python 实现的非常相似的实现相比，它的速度非常慢。有什么基本的我做错了吗？

*edit：这是我的 Python 代码：

from itertools import permutations

letters = raw_input("please enter your letters (without spaces): ")

d = open('words')
dictionary = [line.rstrip('\n') for line in d.readlines()]
d.close()

perms = ["".join(p) for p in permutations(letters)]

validWords = []

for p in perms:
    if p in dictionary: validWords.append(p)


for validWord in validWords:
    print validWord

我没有精确计时，但大致感觉 Python 实现的速度大约是 Haskell 实现的 2 倍。也许我不应该说 Haskell 代码相比之下“非常慢”，但由于 Haskell 是静态类型的，我想我只是认为它应该快得多，而且根本不比 Python 慢。

Answer 1

检查x 是否是dictWords 的元素可能会很慢。我会假设您类似的 python 实现将dictWords 存储在一个集合或排序向量中（在后一种情况下使用二进制搜索）？看起来你可能想在这里做同样的事情。

使用this word list和下面的代码，Python版本运行时间约为30秒，Haskell版本运行时间为1.5分钟。所以 Haskell 比较慢（可能是因为它使用了一个链表，在所有条件相同的情况下，它的迭代速度较慢），但与 Python 相比，我不会称它为“非常慢”。在任一版本中切换使用一组可将时间缩短到 1 秒以下。

from itertools import permutations
f = open('twl06.txt')
words = f.read().split()

print [''.join(p) for p in permutations('apricot') if ''.join(p) in words]

这是基于集合的 Haskell 代码：

import Data.Set
import Data.List

main = do
    dict    <- readFile "twl06.txt"
    let letters = "apricot"
    let dictWords = Data.Set.fromList $ words dict
    let perms = permutations letters
    print [x | x <- perms, member x dictWords]

Answer 2

我是 Haskell 的新手，并尝试制作一个拼字游戏求解器。

您可以通过使用更好的算法来显着改善事情。

而不是测试输入字母的每个排列，如果你 首先对它们进行排序，您只能进行一个字典查找并获得 所有可能的单词（字谜）可以由 它们（全部使用）。

下面是将该字典创建为 Data.Map 的代码。 创建地图需要启动成本，但之后 第一次查询后续查找速度非常快。

import Data.List
import qualified Data.Map.Strict as Map
import Control.Monad
import System.IO

main = do
  contents <- readFile "words"
  let pairs = [ (sort w, [w]) | w <- words contents ]
      dict = foldl' (\m (k,v) -> Map.insertWith (++) k v m) Map.empty pairs
      -- dict = foldr (\(k,v) m -> Map.insertWith (++) k v m) Map.empty pairs
  forever $ do
    putStr "Enter letters: " >> hFlush stdout
    letters <- getLine
    case Map.lookup (sort letters) dict of
      Nothing -> putStrLn "No words."
      Just ws -> putStrLn $ "Words: " ++ show ws

236K 字 (2.5 MB) 的 word 文件的地图创建时间约为 4-5 秒。使用 ByteStrings 或 Text 代替 Strings 可能会获得更好的性能。

尝试一些好的字母组合：

steer rat tuna lapse groan neat

注意：使用 GHC 7.10.2 我发现此代码在不使用 -O2 编译的情况下执行得最好。