在循环 R 中合并

Question

我正在使用 for 循环将多个文件与另一个文件合并：

文件

for(i in 1:length(files))
{
  data <- fread(files[i], header=T)

  # Merge
  mydata <- merge(mydata, data, by="ID", all.x=TRUE)

  rm(data)
}

“mydata”如下所示（简化）：

ID  x1  x2
1   2   8
2   5   5
3   4   4
4   6   5
5   5   8

“数据”如下所示（大约 600 个文件，总共 100GB）。 2 个（单独的）文件的示例。将 all in 1 集成是不可能的（太大）：

ID  x3
1   8
2   4

ID  x3
3   4
4   5
5   1

当我运行我的代码时，我得到以下数据集：

ID  x1  x2  x3.x    x3.y
1   2   8   8       NA
2   5   5   4       NA
3   4   4   NA      4
4   6   5   NA      5
5   5   8   NA      1

我想得到的是：

ID  x1  x2  x3
1   2   8   8
2   5   5   4
3   4   4   4
4   6   5   5
5   5   8   1

ID 是唯一的（从不重复超过 600 个文件）。

任何关于如何尽可能有效地实现这一目标的想法都非常感谢。

Answer 1

它更适合作为评论，但我还不能评论。

用rbind 代替merge 不是更好吗？ 这似乎是您想要完成的。

设置fill 参数TRUE 来处理不同的列号：

asd <- data.table(x1 = c(1, 2), x2 = c(4, 5))
a <- data.table(x2 = 5)
rbind(asd, a, fill = TRUE)

   x1 x2
1:  1  4
2:  2  5
3: NA  5

使用data 执行此操作，然后通过ID 合并到mydata。

评论更新

files <- list.files("path", pattern=".TXT", ignore.case=T)

ff <- function(input){
  data <- fread(input) 
}

a <- lapply(files, ff)
library(plyr)
binded.data <- ldply(a, function(x) rbind(x, fill = TRUE))

因此，这将创建一个函数来读取文件并将其推送到 lapply，因此您将获得一个包含所有 data 文件的列表，每个文件都在其自己的数据帧中。

使用 ldply from plyr 将所有数据帧合并到一个数据帧中。

暂时不要碰我的数据。

binded.data <- data.table(binded.data, key = ID)

根据您的mydata，您将执行不同的merge 命令。 看： https://rstudio-pubs-static.s3.amazonaws.com/52230_5ae0d25125b544caab32f75f0360e775.html

更新 2

files <- list.files("path", pattern=".TXT", ignore.case=T)

ff <- function(input){
data <- fread(input)
# This keeps only the rows of 'data' whose ID matches ID of 'mydata'
data <- data[ID %in% mydata[, ID]]
}

a <- lapply(files, ff)
library(plyr)
binded.data <- ldply(a, function(x) rbind(x, fill = TRUE))

更新 3

您可以添加cat 来查看函数正在读取的文件。因此，您可以查看哪个文件内存不足。这将为您指明一次可以读取多少个文件的方向。

  ff <- function(input){
# This will print name of the file it is reading now
cat(input, "\n")
data <- fread(input)
# This keeps only the rows of 'data' whose ID matches ID of 'mydata'
data <- data[ID %in% mydata[, ID]]
}