在 C++ 中爬取递归 ntfs 目录的最快方法

Question

我编写了一个小型爬虫来扫描和处理目录结构。

它基于 dirent（它是 FindNextFileA 的一个小包装器） 在我的第一个基准测试中，它出奇地慢：

4500 个文件大约需要 123473 毫秒（thinkpad t60p 本地三星 320 GB 2.5" HD）。 在 123473 毫秒内找到 121481 个文件 这个速度正常吗？

这是我的代码：

int testPrintDir(std::string  strDir, std::string strPattern="*", bool recurse=true){
  struct dirent *ent;
  DIR *dir;
  dir = opendir (strDir.c_str());
  int retVal = 0;
  if (dir != NULL) {
    while ((ent = readdir (dir)) != NULL) {
      if (strcmp(ent->d_name, ".") !=0 &&  strcmp(ent->d_name, "..") !=0){
        std::string strFullName = strDir +"\\"+std::string(ent->d_name);
        std::string strType = "N/A";
        bool isDir = (ent->data.dwFileAttributes & FILE_ATTRIBUTE_DIRECTORY) !=0;
        strType = (isDir)?"DIR":"FILE";                 
        if ((!isDir)){
             //printf ("%s <%s>\n", strFullName.c_str(),strType.c_str());//ent->d_name);
          retVal++;
        }   
        if (isDir && recurse){
             retVal += testPrintDir(strFullName, strPattern, recurse);
        }
      }
    }
    closedir (dir);
    return retVal;
  } else {
    /* could not open directory */
    perror ("DIR NOT FOUND!");
    return -1;
  }
}

Answer 1

在某些情况下这样的速度是正常的。首先，使用 FindFirstFileA 而不是 FindFirstFileW 会产生从 UTF-16 到 ANSI 的转换的开销。其次，如果您正在浏览操作系统尚未访问的目录，您将招致至少一次查找惩罚（对于大多数消费者硬盘驱动器而言，大约为 16 毫秒），从而将您的枚举限制在每秒远低于 100 次目录检查。如果给定驱动器上的主文件表碎片严重，情况会变得更糟。

关于文件的数量，它将更多地取决于每个目录的文件数量，而不是文件本身的数量。

Answer 2

第一次进行递归目录爬取时，您可能应该先枚举整个当前目录，然后将完成后要访问的所有目录排入队列。这样一来，您就有可能利用 NTFS 可能执行的任何即时预读优化。

在随后的递归目录爬网中，如果目录的元数据适合系统缓存，那么无论您如何做都没有关系。

编辑：阐明您应该如何访问目录。从技术上讲，这不是广度优先搜索。

Answer 3

可能驱动器是瓶颈。不过你可以试试：

1. 可以优化字符串操作 - 使用 char 数组 instęad of std::string。
2. 不需要每次递归调用都构建 strFullName。使用单个固定的字符缓冲区（即函数内的静态数组），立即修改它。
3. 不要按值传递 strPattern！
4. 在调试之前不要创建 strType
5. 其他人建议在深入递归之前构建要处理的目录列表。要构建它，我建议使用单个静态数组（类似于 2.）或使用堆栈（alloca）。
6. 文件系统使用 Unicode 存储文件名？如果是这样，使用带有 FindFirstFileW 和 FindNextFileW 的 unicode 字符串可能会快一些。

Answer 4

在递归潜水期间，您将 DIR 句柄保持打开状态。相反，保留您遇到的目录的本地列表，并在 closedir() 之后在该循环之外处理它们。