【问题标题】:Map/mapply with all possible combinations of two lists映射/映射两个列表的所有可能组合
【发布时间】:2021-09-28 07:05:59
【问题描述】:

我不熟悉使用 R 和应用程序,我正在尝试从网站下载一组 .csv 文件。

我想下载危地马拉 (GT)、萨尔瓦多 (SV) 和洪都拉斯 (HN) 这三个国家/地区的 2004 年和 2005 年(例如;实际上我想要更多年)。

我可以像这样逐个国家地运行:

years = c(2004, 2005)    
Map(download.file, url = paste0("https://www.colef.mx/emif/datasets/basesdeDatos/sur/", years, "/DEUAGT%20S1%20", years, ".csv"), 
          destfile = paste0(raw_data, years, ".csv") )

这将获得 2004 年和 2005 年的危地马拉数据库,因为危地马拉的数据库由 URL 中的 "DEAUGT" 定义。洪都拉斯和萨尔瓦多数据库分别是 "DEAUHN" 和 "DEAUSV"。

但由于我正在努力学习,所以我想“一次性”完成所有事情。所以我尝试了:

countries = c("GT", "HN", "SV")
years = c(2004, 2005, 2007, 2009:2019)

Map(possibly(download.file, otherwise = NA), url = paste0("https://www.colef.mx/emif/datasets/basesdeDatos/sur/", years, "/DEUA", countries, "%20", years, ".csv"), 
              destfile = paste0(raw_data, countries, years,".csv"))

但不是下载我想要的 6 个文件(三个国家,两年),而是下载了 2 个文件。

我在此处和 RStudio 社区中发现的各种帖子都指出 Map/mapply 并没有遍历列表 "countries" 和 "years" 的所有可能组合,而是逐点进行(或类似的)。

我在不同的设置中找到了各种建议,但都不是特别容易,而且有些事情告诉我有一个简单的解决方案。使用expand.grid 创建一个数据框,而不是一个列表列表。

【问题讨论】:

  • 您想从网址下载countries 和years 的所有可能组合?
  • 是的!但是由于文件的URL,我无法列出“GT2012,GT2013”​​等。我需要一个国家/地区所有年份循环的东西,然后在另一个国家/地区重复,等等。

标签: r apply purrr mapply


【解决方案1】:

您可以使用以下解决方案。如果我们使用purrr::walk2 代替purrr::map2 会更好,因为我们调用download.file 是因为它的副作用,所以walk2 会是一个更好的选择:

library(purrr)

# First we create a data frame of all combinations of countries and years
comb <- expand.grid(countries, years)

# Then I wrap `download.file` with possibly for error handling
poss_download <- possibly(download.file, otherwise = NA)

# Then I apply our function on every combination of countries and years 
# in a row-wise operation

walk2(comb$Var1, comb$Var2, ~ {
  url = paste0("https://www.colef.mx/emif/datasets/basesdeDatos/sur/", .y, "/DEUA", .x, "%20", .y, ".csv")
  destfile = paste0(raw_data, .x, .y,".csv")
  poss_download(url, destfile)
})

这是此问题的基本 R 解决方案。

  • 我使用了sprintf 函数,而不是paste0,根据文档“返回包含文本和变量值的格式化组合的字符向量”。我将%d 用于整数/数字值(几年2 次)和%s 用于字符串(国家一次),应该注意的是,我们必须提供尽可能多的变量,以便将它们合并到它们的位置形成一个长度为 1 的字符串
  • 然后我用tryCatch 代替purrr::possibly 来处理可能出现的错误
  • 最后我使用mapply 或Map 来同时迭代url 和destfile 两个向量
comb <- expand.grid(countries, years)

url <- sprintf("https://www.colef.mx/emif/datasets/basesdeDatos/sur/%d/DEUA%s%d.csv", comb$Var2, comb$Var1, comb$Var2)

destfile = paste0(raw_data, comb$Var1, comb$Var2,".csv")

mapply(function(x, y) {
  tryCatch(download.file(url, destfile),
           error = function(e) {
             NA
           })
}, url, destfile)

【讨论】:

  • 就是这样!非常感谢。 paste0 里面有一个双逗号,但除此之外,它按原样运行。我真的以为会有一个函数可以贯穿每个组合。
  • 很高兴它有帮助。我没注意到!它到底在哪里?这样我就可以编辑它。我还将介绍一个基本的 R 解决方案。我注意到你使用了possibly 以为你熟悉purrr 并同意它。
  • 括号内:paste0(raw_data, {,} .x, .y,".csv")
  • @Anoushiravan。这是太棒了。你是我的purrr男人!!!
  • @TarJae 谢谢你,你真好。不来吧!我只是说 OP 在基本 R 代码中使用了 possibly 并决定使用它,哈哈。
猜你喜欢
  • 2021-10-28
  • 2012-08-14
  • 2016-05-13
  • 2018-08-23
  • 2022-08-15
  • 1970-01-01
  • 1970-01-01
  • 2012-06-19
  • 2021-08-23
相关资源
最近更新 更多