【问题标题】:libcurl download speed too slowlibcurl下载速度太慢
【发布时间】:2017-03-01 16:55:00
【问题描述】:

我有一个案例,我使用 libcurl 和 c++ 来下载一个 240 MB 的文件,但这样做需要 15 分钟。我已经确保我的写回调尽可能快。它只是写入一个足够大的内存缓冲区来存储数据。当我使用 curl 命令从同一台服务器下载同一个文件时,只需不到一分钟。当我使用浏览器下载文件时,也只需不到一分钟。是否有可能我错误地使用了 libcurl?这是我的代码的 sn-p...

wxString postFields;
postFields += "package_name=" + packageName;

if( desiredVersion != 0 )
        postFields += wxString::Format( "&package_version=v%d", desiredVersion );

curl_easy_reset( curlHandleEasy );

curl_slist_free_all( headers );
headers = nullptr;

headers = curl_slist_append( headers, "Content-Type: application/x-www-form-urlencoded" );
headers = curl_slist_append( headers, "Accept: application/x-zip-compressed" );

url = "http://" + packageServer + ":7000/package_download";
urlData = url.c_str();

binResponse = new BinaryResponse( packageSize );

curl_easy_setopt( curlHandleEasy, CURLOPT_HTTPHEADER, headers );
curl_easy_setopt( curlHandleEasy, CURLOPT_POSTFIELDS, postFieldsData );
curl_easy_setopt( curlHandleEasy, CURLOPT_URL, urlData );
curl_easy_setopt( curlHandleEasy, CURLOPT_WRITEFUNCTION, &Response::WriteCallback );
curl_easy_setopt( curlHandleEasy, CURLOPT_WRITEDATA, binResponse );

curlCode = curl_easy_perform( curlHandleEasy );

我的请求设置有问题吗?如果我将写入回调更改为一个虚拟例程,声称已写入数据,但只是将其丢弃(尽可能快),我的下载速度仍然非常慢。

瓶颈是否可能是网络上的某种安全扫描,而浏览器和 curl 命令不是我所受的?

【问题讨论】:

  • 您的 WRITEFUNCTION 的代码是什么?如果您将这两行注释掉并让 curl 编写只是为了测试,会更快吗?

标签: c++ performance curl download libcurl


【解决方案1】:

我曾声称使用虚拟写入功能进行了测试,但实际上我没有。当我用一个dummy write函数测试时,下载速度很快。

所以我调查了为什么我的写入函数很慢,并发现我使用的内存流类没有使用所需的缓冲区大小进行初始化,因此它会根据需要增长。缓冲区的增长可能很小,每次增长时,可能都需要将旧缓冲区的全部内容复制到新缓冲区中......所以,长话短说:我很笨,写流很慢。

现在我将我的内存流初始化为文件的总大小,以便它永远不必增长。啊!问题解决了。

【讨论】:

  • 在 99.9% 的情况下,缓冲区应该呈指数增长。这可能会解决问题。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2022-12-03
  • 2012-02-06
  • 2016-12-18
  • 1970-01-01
  • 2018-03-14
  • 2017-02-28
  • 2023-01-19
相关资源
最近更新 更多