使用纯 PHP 验证两个文件是否相同？

Question

TL;DR：我有一个 CMS 系统，它使用文件内容的 SHA-1 作为文件名来存储附件（不透明文件）。鉴于我已经知道两个文件的 SHA-1 哈希匹配，如何验证上传的文件是否真的与存储中的一个匹配？我想要高性能。

加长版：

当用户向系统上传新文件时，我会计算上传文件内容的 SHA-1 哈希值，然后检查存储后端中是否已存在具有相同哈希值的文件。 PHP 在我的代码运行之前将上传的文件放在/tmp 中，然后我对上传的文件运行sha1sum 以获取文件内容的SHA-1 哈希。然后，我从计算的 SHA-1 哈希计算扇出，并在 NFS 挂载目录层次结构下确定存储目录。 （例如，如果文件内容的 SHA-1 哈希是 37aefc1e145992f2cc16fabadcfe23eede5fb094，则永久文件名是 /nfs/data/files/37/ae/fc1e145992f2cc16fabadcfe23eede5fb094。）除了保存实际文件内容之外，我将 INSERT 在 SQL 数据库中换行用户提交的元数据（例如Content-Type、原始文件名、日期戳等）。

我目前正在解决的极端情况是，新上传的文件的 SHA-1 哈希值与存储后端中的现有哈希值相匹配。我知道这种意外发生的变化是天文数字的低，但我想确定一下。 （特意案例请见https://shattered.io/）

给定两个文件名$file_a 和$file_b，如何快速检查两个文件的内容是否相同？假设文件太大而无法加载到内存中。对于 Python，我会使用filecmp.cmp()，但 PHP 似乎没有类似的东西。我知道这可以通过fread() 来完成，如果找到不匹配的字节则中止，但我宁愿不编写该代码。

Answer 1

如果您已经有一个 SHA1 总和，您可以这样做：

if ($known_sha1 == sha1_file($new_file))

否则

if (filesize($file_a) == filesize($file_b)
    && md5_file($file_a) == md5_file($file_b)
)

还要检查文件大小，以在一定程度上防止哈希冲突（这已经很不可能了）。也使用 MD5，因为它比 SHA 算法快得多（但不那么独特）。

---

更新：

这是准确比较两个文件的方法。

function compareFiles($file_a, $file_b)
{
    if (filesize($file_a) != filesize($file_b))
        return false;

    $chunksize = 4096;
    $fp_a = fopen($file_a, 'rb');
    $fp_b = fopen($file_b, 'rb');
        
    while (!feof($fp_a) && !feof($fp_b))
    {
        $d_a = fread($fp_a, $chunksize)
        $d_b = fread($fp_b, $chunksize);
        if ($d_a === false || $d_b === false || $d_a !== $d_b)
        {
            fclose($fp_a);
            fclose($fp_b);
            return false;
        }
    }
 
    fclose($fp_a);
    fclose($fp_b);
          
    return true;
}

Answer 2

更新

如果要确保文件相等，则应首先检查文件大小，如果它们匹配，则只需区分文件内容。这比使用散列函数要快得多，而且肯定会给出正确的结果。

---

如果您使用 md5_file() 或 sha1_file() 或其他 hash_function 对内容进行哈希处理，则不需要将整个文件内容加载到内存中。下面是一个使用md5的例子：

$hash = md5_file('big.file'); // big.file is 1GB  in my test
var_dump(memory_get_peak_usage());

输出：

int(330540)

在你的例子中是：

if(md5_file('FILEA') === md5_file('FILEB')) {
    echo 'files are equal';
}

进一步注意，当您使用哈希函数时，您总是会遇到这样一种情况，您需要在一方面的复杂性和另一方面的冲突概率（意味着两条不同的消息产生相同的哈希）之间做出决定.

Answer 3

当您的文件很大并且是二进制文件时，您可以从几个偏移量中测试它的几个字节。它应该比任何散列函数都快得多，尤其是该函数按第一个不同字符返回结果。

但是，此方法不适用于只有几个不同字符的文件。它是大型档案、视频等的最佳选择。

function areFilesEqual($filename1, $filename2, $accuracy)
{

    $filesize1 = filesize($filename1);
    $filesize2 = filesize($filename2);

    if ($filesize1===$filesize2) {

        $file1 = fopen($filename1, 'r');
        $file2 = fopen($filename2, 'r');

        for ($i=0; $i<$filesize1 && $i<$filesize2; $i+=$accuracy) {
            fseek($file1, $i);
            fseek($file2, $i);
            if (fgetc($file1)!==fgetc($file2)) return false;
        }

        fclose($file1);
        fclose($file2);

        return true;
    }

    return false;
}

Answer 4

使用 Sha1 哈希，就像你一样。如果它们相等，则还要比较它们的 md5 哈希值和文件大小。 如果您然后遇到在所有 3 个检查中都匹配但不相等的文件 - 您刚刚找到了圣杯：D

Answer 5

所以我遇到了这个问题，然后找到了一个可以回答它并且确实有效的问题。

2021...事情发生了变化，所以我想我会发布一个指向该答案的链接Here

A) 基本上它使用fopen 和fread，如上所示，但它可以工作。接受的答案总是对我返回不同的结果，即使在同一个文件上也是如此。

B) fopen 和 fread 方法将比 sha1 或 md5 方法更快，如果你可以使用它，我不明白你为什么不能。

上面链接中的 Svish 版本....

function files_are_equal($a, $b)
{
  // Check if filesize is different
  if(filesize($a) !== filesize($b))
      return false;

  // Check if content is different
  $ah = fopen($a, 'rb');
  $bh = fopen($b, 'rb');

  $result = true;
  while(!feof($ah))
  {
    if(fread($ah, 8192) != fread($bh, 8192))
    {
      $result = false;
      break;
    }
  }

  fclose($ah);
  fclose($bh);

  return $result;
}

Answer 6

您可以使用 turbodepot 库。它是纯 PHP 的，只需一行代码就可以解决这个问题：

require 'path/to/your/dependencies/folder/turbocommons-php-X.X.X.phar';
require 'path/to/your/dependencies/folder/turbodepot-php-X.X.X.phar';

use org\turbodepot\src\main\php\managers\FilesManager;

$filesManager = new FilesManager();
$filesManager->isFileEqualTo('path/to/file1', 'path/to/file2');

你可以看这里的代码，它基本上是先按大小比较，然后按数据块比较：

https://github.com/edertone/TurboDepot/blob/f74a12ac330ec49604403a2f60502ced591c6da8/TurboDepot-Php/src/main/php/managers/FilesManager.php#L129

通过使用这个库，您还可以获得大量文件系统功能，例如比较两个文件夹、搜索文件夹、镜像文件夹等等

更多信息在这里：

https://turboframework.org/en/blog/2020-11-03/check-if-two-files-are-identical-using-javascript-typescript-php

Answer 7

以下代码帮助您检查文件是否相同。

/***check equality of files*/

$file1="pics/star.jpg";

$file2="pics/dupe.jpg";

if(sha1_file($file1)==sha1_file($file2))

echo "Identical";

else

echo "Not Identical";