R的download.file的“内部方法”是什么？

Question

我正在尝试使用download.file 下载以下数据集，该数据集仅在method = "wget" 时有效）

# Doesn't work
download.file('http://uofi.box.com/shared/static/bba3968d7c3397c024ec.dta', tempfile(), method = "auto")
download.file('http://uofi.box.com/shared/static/bba3968d7c3397c024ec.dta', tempfile(), method = "curl")

# Works
download.file('http://uofi.box.com/shared/static/bba3968d7c3397c024ec.dta', tempfile(), method = "wget")

根据help(download.file)，

如果选择了method = "auto"（默认），内部方法是 为 file:// URL 和其他提供的 URL 选择 能力（“http/ftp”）是真的（几乎总是这样）。

看源码，“内部方法”指的是：

if (method == "internal") {
        status <- .External(C_download, url, destfile, quiet, 
            mode, cacheOK)
        if (!quiet) 
            flush.console()
    }

但是，我仍然不知道.External(C_download) 做了什么，尤其是跨平台。知道这一点对我来说很重要，而不是依赖 wget，因为我正在编写一个可以跨平台工作的包。

Answer 1

源代码在 R 源代码中（从http://cran.r-project.org/sources.html 下载当前版本）。相关代码（从 R 3.2.1 开始）位于“./src/modules/internet/internet.c”和“./src/modules/internet/nanohttp.c”中。

根据后者，极简HTTP GET功能的代码是基于libxml2-2.3.6的。

如果您不想下载整个 .tgz 文件并解压缩，这些文件也可以在 R svn 站点 https://svn.r-project.org/R/branches/R-3-2-branch/src/modules/internet/internet.c 和 https://svn.r-project.org/R/branches/R-3-2-branch/src/modules/internet/nanohttp.c 上找到。

如果您查看代码，其中大部分是跨平台的。但是，在 Windows 上，似乎使用了 wininet 代码。

最初通过查看 utils 包来识别代码，因为这是 R 命令 download.file 所在的位置。我grepped在“./src/library/utils/src”目录下的c文件中下载，发现相关代码在“sock.c”中。该文件中有一条评论，上面写着/* from src/main/internet.c */，所以我接下来去了“internet.c”。

关于您的特定文件，问题在于您拥有的链接返回302 Found 状态代码。在 Windows 上并使用 wget，下载例程遵循 302 响应的 Location 字段并获取实际文件。使用 curl 方法有效，但前提是您提供参数 extra="-L"。

download.file('http://uofi.box.com/shared/static/bba3968d7c3397c024ec.dta', tempfile(), method = "curl", extra="-L")

有一个名为downloader 的包声称为https 提供了一个很好的跨平台解决方案。给定一个 http URL，它只是将调用传递给download.file。这是一个也适用于 http 的版本。它还默认为二进制传输，这通常看起来是个好主意。

my_download <- function(url, destfile, method, quiet = FALSE,
                        mode = "wb", cacheOK = TRUE, extra = getOption("download.file.extra")) {
  if (.Platform$OS.type == "windows" && (missing(method) || method %in% c("auto", "internal", "wininet"))) {
    seti2 <- utils::"setInternet2"
    internet2_start <- seti2(NA)
    on.exit(suppressWarnings(seti2(internet2_start)))
    suppressWarnings(seti2(TRUE))
  } else {
    if (missing(method)) {
      if (nzchar(Sys.which("wget")[1])) {
        method <- "wget"
      } else if (nzchar(Sys.which("curl")[1])) {
        method <- "curl"
        if (!grepl("-L", extra)) {
          extra <- paste("-L", extra)
        }
      } else if (nzchar(Sys.which("lynx")[1])) {
        method <- "lynx"
      } else {
        stop("no download method found")
      }
    }
  }
  download.file(url = url, destfile = destfile, method = method, quiet = quiet, mode = mode,
                cacheOK = cacheOK, extra = extra)
}

Answer 2

您可以自己回答这个问题。只需在控制台提示符下输入download.file，您应该会在函数定义顶部附近看到它：

if (method == "auto") {   # this is actually the default from
                          # getOption("download.file.method", default = "auto")

        if (capabilities("http/ftp")) 
            method <- "internal"
        else if (length(grep("^file:", url))) {
            method <- "internal"
            url <- URLdecode(url)
        }
        else if (system("wget --help > /dev/null") == 0L) 
            method <- "wget"
        else if (system("curl --help > /dev/null") == 0L) 
            method <- "curl"
        else if (system("lynx -help > /dev/null") == 0L) 
            method <- "lynx"
        else stop("no download method found")
    }
    if (method == "internal") {
        status <- .External(C_download, url, destfile, quiet, 
            mode, cacheOK)
        if (!quiet) 
            flush.console()
    }