如何在 R 中加速 CSV 文件读取

Question

根文件夹是D:/data/。在这个根文件夹中有很多子文件夹。 CSV 文件存储在子文件夹中，例如

D:/data/
   f1
      1.csv
      2.csv
   f2
      1.csv
      2.csv

我使用以下代码读取我的 CSV 文件。但是，读取大约 20,000 个 CSV 文件需要几个小时。

allFolders = list.files("D:/data/")
for(folder in 1:length(allFolders))
{
  dirPath = paste0("D:/data/", allFolders[folder], '/')
  for(i in 1:100)
  {   
    f = fread(paste0(dirPath, i, ".csv"))
    # data processing
  }
}

知道如何在 Windows 上加速此过程吗？我尝试使用foreach包，但性能几乎相同，可能是由于I/O设备的速度限制。

更新：

这就是我实现foreach的方式：

allFolders = list.files("D:/data/")
for(folder in 1:length(allFolders))
{
  allf <- vector(mode = "list", length = 100)
  allf <- foreach(i=1:100, .combine=rbind)
  {   
    f = data.table::fread(paste0(dirPath, i, ".csv"))
    f
  }
}

Answer 1

lapply 或 sapply 代替 for 循环可能会有所帮助。

进一步补充： 也许想办法清理这些数据。将数据保存在 20,000 个不同的 .csv 文件中似乎效率非常低。当我处理大型数据集（文件数量或大小）时，我会尝试通过多个步骤进行清理，并仅将我需要的数据保存在 .rds 文件中以便于读取到 R 中。

allFolders = list.files("D:/data/")

folders_as_list <- lapply(1:length(allFolders), function(i){
                     dirPath <- file.path("D:/data/", allFolders[i])
                      res <- lapply(1:100, function(j){
                              f <- fread(paste0(dirPath, j, ".csv"))
                              [DATA PROCESSING]
                              return(f_processed) 
                             }) %>% rbind_all
                     return(res)
                   })

它应该返回一个 1:length(allFolders) 的列表，其中列表中的每个元素都是一个 data.frame，其中来自单个文件夹的所有单个 .csv 文件都已被重新绑定在一起。