PHP cUrl - 无法获取大文件[重复]

Question

我正在使用 PHP 和 cURL 开发一个 leecher 网站。

这是基本代码：

$ch = curl_init();

$url = "http://somesite.com/somefile.part1.rar";
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);

$file_name = basename($url);

$output = curl_exec($ch);

curl_close($ch);

file_put_contents($file_name, $output);

当文件大小较小（例如 15MB 左右）时，此代码有效并且文件被窃取到我的服务器，但当文件大小很大（例如 1GB 左右）时，则没有任何工作。

我已尝试将 10000M 文件大小限制设置为： post_max_size 上传最大文件大小 max_file_uploads 但这没有用。

我尝试将内存限制提高到 512M 甚至 -1，但这并没有奏效。

那么如何使用 cURL 获取大文件？

Answer 1

你觉得这条线有什么作用？ curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); - 它告诉 php 捕获 curl_exec 的所有 stdout 输出，并立即将其全部保存在内存中，然后再执行其他任何操作，这都是一种非常缓慢的方法（因为在下载为 100 之前您不会开始写入磁盘% 完成，除非你在 SSD 上运行，否则磁盘很慢）和极度消耗内存的方法（因为你一次将整个文件存储在内存中），这些都不是可取的。相反，请执行$fp=fopen(basename($url),'wb');curl_setopt($ch,CURLOPT_FILE,$fp); - 现在 curl 会将内容直接写入磁盘，因此速度更快（在下载时将其写入磁盘）并且只需使用少量内存，无论下载文件有多大。

• 还要注意，如果你要同时运行大量的慢速下载，PHP-behind-a-webserver 对这项工作来说简直是一个糟糕的工具，通常你可以运行的并发 php 进程的数量非常有限，并在所有网站都忙时阻止加载整个网站，如果客户端由于某种原因断开连接，php 会中止（参见 ignore_user_abort()），如果脚本花费太长时间，许多网络服务器将超时（参见 nginx proxy_read_timeout 例如），并且 php 甚至经常因为超时原因杀死自己（参见 set_time_limit()）.. 如果是这种情况，请考虑用另一种语言编写下载器（例如，Go 的 goroutines 应该能够以很少的资源进行大量并发的慢速下载用法，不像 PHP）