检查大量文件对是否相同的快速方法

Question

我正在用 C++ 构建一个小型同步实用程序，主要供个人使用。

假设我们有两个将被同步的目录“A”和“B”。在某些时候，必须将 A 中的新文件复制到 B。我目前使用的逻辑是：

browse directory 'A'
for each 'A/afile'
    copy A/afile to B/afile
endfor
for each 'A/adirectory'
    recurse into 'A/adirectory'
endfor

这很好，直到我注意到使用上面的方法，A 中的所有文件每次都复制到 B。所以，如果 A/afile 和 B/afile 不同，我只想执行复制操作.

所以，我的问题是，如何以快速和跨平台（希望如此）的方式比较它们？为每个文件计算 MD5 校验和之类的东西会很快吗？

关键是，由于可能会针对大量文件对进行文件比较，所以我想要既可靠又快速的东西。我所说的快速是指“繁重且耗时”的任务应该是实际的复制操作，而不是文件检查。

PS。我还尝试寻找“技巧”，例如比较文件大小和修改时间，但没有成功。

---

编辑

在考虑了下面的答案后，我最终会检查两个文件是否相同：

if optimize_speed then
      if A/afile is newer then no (cause A/afile is the 'source' file)
      if B/afile is newer then compare byte-to-byte and decide 
else
      compare byte-to-byte and decide
end

Answer 1

给定任意一对可同步文件A 和B，只要两个文件的修改时间戳不相等，就需要同步。

问题是咳咳……时间戳不是 C++ 标准的一部分……因此，您要么需要使用 Boost/Qt 之类的东西来实现跨平台目的。

当然，另一种方法是忽略可移植性并采用 POSIX 的解决方案（p.d：记得检查返回值！）：

#include <sys/types.h>
#include <sys/time.h>
#include <sys/stat.h>
#include <unistd.h>
#include <utime.h>

struct stat statOfA;
struct stat statOfB;
stat(pathOfA, &statOfA);
stat(pathOfB, &statOfB);

if(statOfA.st_mtime > statOfB.st_mtime) {
    // Sync! Then...
    struct timeval now;
    gettimeofday(&now, NULL);    // nullptr is prefered in C++11...

    struct timeval copys[] = { now, now };
    utimes(pathOfA, copys);
    utimes(pathOfB, copys);
}

编辑：如果您需要使用 Windows API，您可能会看到 GetSystemTime()、SystemTimeToFileTime()、GetFileTime() 和 SetFileTime()。

Answer 2

这将是速度和可靠性之间的权衡。您想先尝试 fastet 方法，然后再尝试更精确的方法。这是fdupes后面的算法：

• 比较文件大小
• => 如果不同，则采取行动（在您的情况下，复制）
• 比较 MD5 签名
• => 如果不同，复制
• 逐字节比较
• => 如果不同，复制
• 其他什么都不做

准备这个答案时，我刚刚了解到 fdupes 现在添加了一个带有部分 MD5 的中间步骤：

http://en.wikipedia.org/wiki/Fdupes

Answer 3

由于到目前为止，每个答案都存在一些错误信息，因此这是我的看法：

1. 如果您真的想知道两个文件是否相同，您必须逐字节比较它们。校验和相同但文件不同的可能性非常、非常、非常小，但校验和很好。然而，计算校验和几乎肯定比直接比较文件内容要慢当两个文件都是本地文件时。 （rsync 不比较文件内容的原因是它用于同步远程文件。）

2. 如果您触摸文件或以其他方式更改其时间戳而不更改其内容的可能性很小，则继续并仅比较时间戳。在极少数情况下，您会复制未更改的文件，但不必比较不必要的文件内容。

3. 比较大小不是一个好主意，尤其是。如果您更改了文件的某些内容。

4. 是的，比较文件内容意味着读取两个文件。有一些方法可以提高效率，但仍然需要与较小的文件大小大致呈线性关系的时间。如果您真的想这样做，请考虑使用现有的命令行工具，例如 cmp。

这是调用cmp的一种方法：

cmp --silent file1 file2

这将告诉您两个文件的内容是否相同（退出状态 0）或不同（退出状态 1），或者是否有问题，例如两个文件之一不存在（退出状态 2）。一个 bash 脚本，它接受两个参数，如果它们不同，则将第一个参数复制到第二个参数：

if cmp --silent "$1" "$2"
then
    :
else
    cp "$1" "$2"
fi

重要信息：在实施解决方案之前弄清楚您的用例是什么。

Answer 4

比较时间戳只是解决方案的一部分，但远非真正完整的解决方案。我强烈反对@KemyLand。

想象以下情况：

您有两个文件 F1 和 F2。两者具有相同的内容。假设修改时间戳是 14:00:00。然后您决定更改 F1 并保存它。 F1 的修改时间戳更改为 14:02:00。但是，在下一次同步事件之前，您在 F1 中反转了更改（例如，您已经删除了其中的一个字符串，但决定返回并再次添加该字符串）。 F1 的修改时间戳再次更改为 14:06:00。然而这里我们有一个问题 - 即使 F1 的修改时间戳是 14:06:00 并且 F2 - 14:00:00 - content 本身也是一样的！

但是，时间戳差异可以触发对要同步的文件进行更深入的检查。然而，必须检查文件的内容，而散列是最好的方法。

为大量文件对计算哈希可能会很痛苦。但是，您可以做的是扩展您的工具并尝试优化您拥有的资源的使用。例如，如果您有 2 个核心 - 使用两者。如果您有 8 个核心 - 使用全部 8 个，依此类推。

如果您使用时间戳作为唯一检查，您最终可能会不必要地复制文件。计算一对文件的哈希值比仅仅因为时间戳改变但其内容保持不变而盲目复制文件堆要好得多。

使用触发事件的组合进行更深入的检查（时间戳更改、文件大小更改等），但始终进行散列（或至少使用 cmp 之类的东西进行比较）以确保您不会陷入其中在许多情况下（我上面提到的只是冰山一角），您浪费了对数据的读写访问。与复制数据相比，为大量文件计算哈希值要高效得多。如果您有 HDD 或 SSD 作为存储，这无关紧要。在读写方面，您必须移动的文件越多，情况就越糟糕。每个文件的大小也很重要。