使用 Laravel 下载大量文件

Question

我有一种情况，我需要从 S3 下载并压缩大量文件（可能超过 2000 个），然后将它们发送给客户端下载。每个文件都不是那么大，但它是服务器要完成的一项大型操作。

我已经设置了这样一种方式，即我在工作环境中处理此任务，并使用带有 S3 的流来下载文件并压缩它们。我仍然发现，当此作业处理时，这会给服务器带来很大压力，有时会导致“内存不足”错误。

谁能推荐一种更好的方法来处理这种情况？如何从 S3 下载大量文件，将它们组合成一个存档，然后高效地将该存档提供给客户？

我注意到 Dropbox 本身不允许您一次下载超过 200 个文件，这是解决此问题的最佳方法吗？分块下载？

Answer 1

 // Laravel: 
 $tempImage = tempnam(sys_get_temp_dir(), $filename);
 copy('https://my-cdn.com/files/image.jpg', $tempImage);
 return response()->download($tempImage, $filename);

逐个下载文件，将它们放在一个目录中，然后下载完成后，使用以下命令压缩文件夹：

// Core php: 
$archive_name = 'path\to\archive\arch1.tar';
$dir_path = 'path\to\dir';

$archive = new PharData($archive_name);
$archive->buildFromDirectory($dir_path); // make path\to\archive\arch1.tar
$archive->compress(Phar::GZ); // make path\to\archive\arch1.tar.gz
unlink($archive_name); // deleting path\to\archive\arch1.tar

压缩代码取自：Compressing a directory of files with PHP