一种更快的目录遍历方式而不是 os.listdir？

Question

我正在尝试提高 elfinder 的性能，这是一个基于 ajax 的文件管理器 (elRTE.ru)。

它在递归中使用 os.listdir 以递归方式遍历所有目录并影响性能（例如列出包含 3000 + 个文件的目录需要 7 秒）..

我正在努力提高它的性能，这是它的步行功能：

        for d in os.listdir(path):
            pd = os.path.join(path, d)
            if os.path.isdir(pd) and not os.path.islink(pd) and self.__isAccepted(d):
                tree['dirs'].append(self.__tree(pd))

我的问题是：

1. 如果我更改 os.walk 而不是 os.listdir ，会提高性能吗？
2. 使用 dircache.listdir() 怎么样？在初始请求时缓存整个目录/子目录内容并返回缓存结果，如果没有上传新文件或文件没有更改？
3. 还有其他更快的目录遍历方法吗？
4. 任何其他用python快速编写的服务器端文件浏览器（但我更喜欢让这个更快）？

Answer 1

我一直在寻找一种解决方案来列出文件夹中的图像数量，但 Colab 在运行几分钟后出现os.listdir() 超时。快速的方法是使用 scandir 创建迭代器，然后将文件名填充到单独的列表中。在几秒钟内工作。

Answer 和其他人差不多，但是把代码放在了替代品上，说 Colab 处理大文件有问题。

img_files = data_folder 
obj = os.scandir(img_files)
 
# List all files and directories
# in the specified path
print("Files and Directories in '% s':" % img_files)

img_files = []
for entry in obj :
    if entry.is_dir() or entry.is_file():
        img_files.append(entry.name)

len(img_files)

Answer 2

我知道这是一个旧线程，但我现在不得不做出同样的决定，所以发布结果。随着对 Python 3.5+ 的所有更新，与 os.listdir() 和 os.scandir() 相比，os.walk() 是最快的方法。

我在两个主文件夹中收集文件，每个主文件夹中大约有 30 个文件夹。

files_list = [os.path.join(dir_, root, f)
              for dir_ in folder_list
              for root, dirs, files in os.walk(dir_)
              for f in files
              if (os.path.basename(f).startswith(prefix) and f.endswith(ext))]

我的测试结果：
os.scandir()：10,949 个文件，35.579052 秒
os.listdir()：10,949 个文件，35.197001 秒
os.walk()：10,949 个文件，01.544174 秒

Answer 3

您查看过scandir（以前的betterwalk）吗？自己没试过，不过有discussion about it here和another one here。它声称通过避免对 os.stat() 的冗余调用，在 MacOSX/Linux 上加速了 3~10 倍，在 Windows 上加速了 7~50 倍。它现在也包含在 Python 3.5 的标准库中。

Python 的内置 os.walk() 比它需要的慢得多 是，因为 -- 除了在每个目录上调用 listdir() -- 它在每个文件上调用 stat() 以确定文件名是否为 目录与否。但是 Windows 上的 FindFirstFile / FindNextFile 和 Linux/OS X 上的 readdir 已经告诉你返回的文件是否是 目录与否，因此不需要进一步的 stat 系统调用。在 总之，可以将系统调用的次数从大约 2N 减少到 N， 其中 N 是树中文件和目录的总数。

实际上，删除所有这些额外的系统调用会使 os.walk() 在 Windows 上大约是 7-50 倍，在 Windows 上大约是 3-10 倍 Linux 和 Mac OS X。

来自project's readme。

Answer 4

您正在寻找fsdir。它是用 C 语言编写的，可以与 python 一起使用。它比使用标准 python 库遍历树要快很多。

Answer 5

用 bash 来做怎么样？

import subprocess
command = 'ls .... or something else'
subprocess.Popen([command] ,shell=True) 

在我的情况下，它正在更改数千个文件的权限，这效果要好得多。

Answer 6

我只是想弄清楚如何在一个较大的文件系统上加速 os.walk（350,000 个文件分布在大约 50,000 个目录中）。我在使用 ext3 文件系统的 linux 机器上。我发现有一种方法可以加快我的情况。

具体来说，使用自顶向下遍历，任何时候 os.walk 返回多个目录的列表，我使用 os.stat 获取每个目录的 inode 编号，并按 inode 编号对目录列表进行排序。这使得 walk 主要以 inode 顺序访问子目录，从而减少了磁盘查找。

对于我的用例，它将我的完整目录步行时间从 18 分钟缩短到 13 分钟...

Answer 7

os.path.walk可能提高你的表现，原因有二：

1）如果你能在你走完所有东西之前停下来，那么它确实会比listdir更快，虽然只有在处理大树时才会注意到

2) 如果您要列出 HUGE 目录，那么让 listdir 返回的列表可能会很昂贵。（不正确，请参阅下面 alex 的评论）

但是，由于调用 visit 函数并执行所有额外的参数打包和解包可能会产生额外的开销，它可能不会产生影响，实际上可能会更慢。

（真正回答这个问题的唯一方法就是自己测试一下——应该只需要几分钟）

Answer 8

您应该直接在您感兴趣的机器（操作系统、文件系统及其缓存等）上进行测量——在特定且完全不同的机器/操作系统/FS 上，os.walk 是否比os.listdir 快很少告诉你你的的性能。

不确定cachedir.listdir 是什么意思——没有该名称的标准库模块/函数。 listdir 已经一次性读取了所有目录（因为它必须对结果进行排序），os.walk 也是如此（因为它必须将子目录与文件分开）。如果根据您的平台，您可以快速获得有关文件/目录更改的通知，那么可能值得构建一次树并随着更改通知的到来逐步编辑它......但这取决于更改的相对频率vs 请求，这又完全取决于您的具体应用环境。

Answer 9

按顺序：

• 我怀疑你会在os.walk 和os.listdir 之间看到很多加速，因为两者都依赖于底层文件系统。事实上，我怀疑底层文件系统会对操作速度产生很大影响。

• 任何缓存操作都将比访问文件系统快得多（至少对于第二次和后续检查而言）。

• 您总是可以编写一些实用程序（或调用 shell 命令）来生成 Python 之外的目录列表，并通过 subprocess 模块调用它。但这有点复杂，只有当缓存对您不起作用时，我才会转向该解决方案。

• 如果您在 the Cheeseshop 上没有找到文件浏览器，您可能找不到。