将大量 .txt 文件导入 data.frame，通过给它们一行 data.frame 来包含空的 .txt 文件

Question

我尝试在 R 中导入大量 .txt 文件。其中一些 .txt 文件是空的，但我仍然希望将它们包含在我的 data.frame 中，具体是哪些 .txt 文件空的。使用以下功能，我可以将所有必要的 .txt 文件导入列表：

file_list <- list.files()
myList <- lapply(file_list, function(x) {tryCatch(read.table(x, header = F, sep = '|'), error=function(e) NULL)})

但是，当我使用以下代码将此列表更改为 data.frame 时：

myDataframe <- rbind.fill(lapply(myList, function(f) {as.data.frame(Filter(Negate(is.null), f))}))

我丢失了有关哪些 .txt 文件为空的信息。

最终，我希望在每一行上添加一列，其中包含 .txt 文件的名称，例如通过 list.files()。这样，我可以看到哪些行是空的。

Answer 1

这是您问题的解决方案，但不是您问题的具体答案。

取决于您的文本文件的大小。您应该考虑切换到data.table。一个漂亮的系统，用于以高效的内存方式快速处理大文件。

install.packages("data.table")
library(data.table)
file_list <- list.files()

Results <-  NULL
for (i in file_list){
  # data.table command to read txt files
  i.file <- tryCatch(fread(i,colClasses="character"), error=function(e) e)

  if(!class(i.file)[1]=="data.table"){
    # This condition checks that no errors occured
    i.file <- data.table(cbind(txt.file=i,is.empty="YES",
                         message=i.file$message))
  } else if(nrow(i.file)==0){
    # Just in case files are still empty even though no error
    i.file <- data.table(cbind(txt.file=i,is.empty="YES",
                         message=NA))
  } else {
    i.file[,txt.file:=i]
    i.file[,is.empty:="No"]
  }
  Results <- rbind(Results,i.file,fill=TRUE)
  rm(i.file);gc()
}

# to find which files are empty
Results[is.empty=="YES"][,txt.file]
# double check error types
Results[is.na(message)][,message] 
# expect all to be something like 'file is empty'

# if you insist on using data.frames
Results <- data.frame(Results)

这应该适合你。该脚本可以转换为与 lapply 一起使用的函数，但我希望它易于理解和概括。

我也是data.table 的忠实粉丝，过渡到它对我很有帮助。有关该软件包的更多信息，请查看此cheatsheet。

编辑：修改了脚本，使其可以容纳带有空格的空文件