R - 在多个线程中运行 download.file 脚本答案

【问题标题】：R - Running download.file script in multiple threadsR - 在多个线程中运行 download.file 脚本
【发布时间】：2015-12-13 06:17:55
【问题描述】：

我必须从雅虎财经下载纽约证券交易所所有股票的纽约证券交易所历史收盘价。这是一个工作脚本，下载 600 多只股票的数据需要将近 20 分钟。我有强大的服务器，想并行下载这些。我该怎么做？

for(val in stocks$V1) {
  url <- paste(paste("http://real-chart.finance.yahoo.com/table.csv?s=", val, sep=""), "&a=11&b=12&c=1980&d=9&e=28&f=2015&g=d&ignore=.csv", sep="")
  file_name <- paste(paste("/Users/usdgadiraj/Research/BigData/data/nyse/rscript/", val, sep=""), ".csv", sep="")
  download.file(url, file_name)
}

【问题讨论】：

标签： r rstudio data-science

【解决方案1】：

使用foreach 包和%dopar% 函数。您将需要根据您的操作系统使用特定于系统的并行后端，并从那里注册您的集群。详情请查看以下链接：

https://cran.r-project.org/web/packages/foreach/vignettes/foreach.pdf

【讨论】：