wget 中的 HTTP 请求占用大部分时间

Question

我正在通过 wget 检索大量数据，使用以下命令：

wget --save-cookies ~/.urs_cookies --load-cookies ~/.urs_cookies --keep-session-cookies --content-disposition -i links.dat

我的问题是 links.dat 包含数千个链接。这些文件相对较小（100kb）。所以下载文件需要 0.2 秒，等待 HTTP 请求响应需要 5 秒。所以最终下载我的全部数据需要 14 小时，大部分时间都花在等待请求上。

URL transformed to HTTPS due to an HSTS policy
--2017-02-15 18:01:37--  https://goldsmr4.gesdisc.eosdis.nasa.gov/daac-bin/OTF/HTTP_services.cgi?FILENAME=%2Fdata%2FMERRA2%2FM2I1NXASM.5.12.4%2F1980%2F01%2FMERRA2_100.inst1_2d_asm_Nx.19800102.nc4&FORMAT=bmM0Lw&BBOX=43%2C1.5%2C45%2C3.5&LABEL=MERRA2_100.inst1_2d_asm_Nx.19800102.SUB.nc4&FLAGS=&SHORTNAME=M2I1NXASM&SERVICE=SUBSET_MERRA2&LAYERS=&VERSION=1.02&VARIABLES=t10m%2Ct2m%2Cu50m%2Cv50m
Connecting to goldsmr4.gesdisc.eosdis.nasa.gov (goldsmr4.gesdisc.eosdis.nasa.gov)|198.118.197.95|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 50223 (49K) [application/octet-stream]
Saving to: ‘MERRA2_100.inst1_2d_asm_Nx.19800102.SUB.nc4.1’

这可能是一个非常菜鸟的问题，但以这种方式工作似乎真的适得其反。我对幕后发生的事情知之甚少，但我只是想确保我没有做错任何事情，并且这个过程确实可以更快。

如果详细信息有帮助，我正在下载特定节点的 MERRA-2 数据。

谢谢！

Answer 1

Wget 将对同一服务器的多个请求重用现有连接，从而可能为您节省建立和拆除套接字所需的时间。

您可以通过在命令行上提供多个 URL 来做到这一点。例如，每批下载 100 个：

#!/usr/bin/env bash

wget_opts=(
 --save-cookies ~/.urs_cookies
 --load-cookies ~/.urs_cookies
 --keep-session-cookies
 --content-disposition
)

manyurls=()
while read url; do
  manyurls+=( "$url" )
  if [ ${#manyurls[@]} -eq 100 ]; then
    wget "${wget_opts[@]}" "${manyurls[@]}"
    manyurls=()
  fi
done < links.dat

if [ ${#manyurls[@]} -gt 0 ]; then
  wget "${wget_opts[@]}" "${manyurls[@]}"
fi

请注意，我没有对此进行测试。它可能会起作用。如果没有，请告诉我您的错误，我会尝试调试。

所以...这就是“连接重用”或“keepalive”。可以加快下载速度的另一件事是HTTP Pipelining，它基本上允许在收到第一个响应之前发送第二个请求。 wget 不支持这个，curl 在它的库中支持它，但不支持命令行工具。

我没有现成的工具来建议支持 HTTP 管道。 （除此之外，工具建议是题外话。）您可以在this SO answer 中了解流水线的工作原理。如果您想用您选择的支持 libcurl 的语言编写一些东西，我相信您遇到的任何困难都会导致另一个有趣的 StackOverflow 问题。