如何更快地列出目录？

Question

我有一些需要递归列出文件的情况，但我的实现速度很慢。我有一个包含 92784 个文件的目录结构。 find 在不到 0.5 秒的时间内列出文件，但我的 Haskell 实现要慢很多。

我的第一个实现需要 9 多秒才能完成，下一个版本需要 5 多秒，而我目前只用了不到 2 秒。

listFilesR :: FilePath -> IO [FilePath]
listFilesR path = let
    isDODD "." = False
    isDODD ".." = False
    isDODD _ = True

    in do
        allfiles <- getDirectoryContents path
    dirs <- forM allfiles $ \d ->
      if isDODD d then
        do let p = path </> d
           isDir <- doesDirectoryExist p
           if isDir then listFilesR p else return [d]
        else return []
    return $ concat dirs

测试占用大约 100 兆内存 (+RTS -s)，程序在 GC 上花费了大约 40%。

我正在考虑在 WriterT monad 中使用 Sequence 作为 monoid 进行列表，以防止 concats 和列表创建。这可能有帮助吗？我还应该做什么？

编辑：我已经编辑了函数以使用 readDirStream，它有助于减少内存。仍有一些分配发生，但现在的生产率 > 95% 并且运行时间不到一秒。

这是当前版本：

list path = do
  de <- openDirStream path
  readDirStream de >>= go de
  closeDirStream de
  where
    go d [] = return ()
    go d "." = readDirStream d >>= go d
    go d ".." = readDirStream d >>= go d
    go d x = let newpath = path </> x
         in do
          e <- doesDirectoryExist newpath
          if e 
        then
          list newpath >> readDirStream d >>= go d
        else putStrLn newpath >> readDirStream d >>= go d 

Answer 1

我认为System.Directory.getDirectoryContents 构造了一个完整的列表，因此会占用大量内存。使用System.Posix.Directory 怎么样？ System.Posix.Directory.readDirStream 一个一个返回一个条目。

另外，FileManip library 可能有用，尽管我从未使用过。

Answer 2

分析您的代码显示大部分 CPU 时间都用于getDirectoryContents、doesDirectoryExist 和</>。这意味着仅更改数据结构不会有太大帮助。如果你想匹配 find 的性能，你应该使用较低级别的函数来访问文件系统，可能是 Tsuyoshi 指出的那些。

Answer 3

一个问题是它必须构建完整的目录内容列表，然后程序才能对它们做任何事情。 Lazy IO 通常不受欢迎，但在这里使用 unsafeInterleaveIO 会显着减少内存使用。

listFilesR :: FilePath -> IO [FilePath]
listFilesR path = 
  let
    isDODD "." = False
    isDODD ".." = False
    isDODD _ = True
  in unsafeInterleaveIO $ do
    allfiles <- getDirectoryContents path
    dirs <- forM allfiles $ \d ->
      if isDODD d then
        do let p = path </> d
           isDir <- doesDirectoryExist p
           if isDir then listFilesR p else return [d]
        else return []
    return $ concat dirs

Answer 4

是否可以选择将某种缓存系统与读取结合使用？我在考虑一个异步索引服务/线程，它在后台保持这个缓存是最新的，也许你可以把缓存作为一个简单的 SQL-DB 来做，然后在对它进行查询时给你一些很好的性能？

您能否详细说明您的“项目/想法”，以便我们提出替代方案？

我自己不会选择“完整索引”，因为我主要构建基于 Web 的服务，而“resposnetime”对我来说很重要，另一方面，如果它是启动新服务器的初始方式，我确信客户不会介意第一次等待。我只是将结果存储在数据库中以供以后查找。