将在线 .csv 文件合并到 R 中的数据框中

Question

我需要下载 300 多个在线可用的 .csv 文件，并将它们组合成 R 中的数据框。它们都具有相同的列名，但长度（行数）不同。

l<-c(1441,1447,1577)
s1<-"https://coraltraits.org/species/"
s2<-".csv"

for (i in l){   
    n<-paste(s1,i,s2, sep="") #creates download url for i
    x <- read.csv( curl(n) ) #reads download url for i
    #need to sucessively combine each of the 3 dataframes into one 
}

Answer 1

就像@RohitDas 说的，不断地追加一个数据框是非常低效的并且会很慢。只需将每个csv文件下载为列表中的条目，然后在收集列表中的所有数据后绑定所有行。

l <- c(1441,1447,1577)
s1 <- "https://coraltraits.org/species/"
s2 <- ".csv"

# Initialize a list
x <- list()

# Loop through l and download the table as an element in the list    
for(i in l) {   
    n <- paste(s1, i, s2, sep = "") # Creates download url for i
    # Download the table as the i'th entry in the list, x
    x[[i]] <- read.csv( curl(n) ) # reads download url for i
}

# Combine the list of data frames into one data frame
x <- do.call("rbind", x)

只是一个警告：x 中的所有数据框必须具有相同的列才能执行此操作。如果x 中的条目之一具有不同数量的列或不同名称的列，则rbind 将失败。

更高效的行绑定功能（带有一些额外功能，例如列填充）存在于几个不同的包中。看看其中一些用于绑定行的解决方案：

• plyr::rbind.fill()
• dplyr::bind_rows()
• data.table::rbindlist()

Answer 2

如果它们具有相同的列，那么它只是附加行的问题。一个简单（但不是内存效率）的方法是在循环中使用 rbind

l<-c(1441,1447,1577)
s1<-"https://coraltraits.org/species/"
s2<-".csv"

data <- NULL
for (i in l){   
    n<-paste(s1,i,s2, sep="") #creates download url for i
    x <- read.csv( curl(n) ) #reads download url for i
    #need to sucessively combine each of the 3 dataframes into one 
    data <- rbind(data,x)
}

一种更有效的方法是构建一个列表，然后在最后将它们组合成一个数据框，但我将把它留给你作为练习。