将文件名的一部分添加到数据框的列中 - 带有多个输入文件

Question

我正在尝试从给定的“.dta”文件中提取一些数据，并向每个创建的数据框添加一个新列，其中包含文件名的一部分（一年）。必须这样做，因为我想做一些队列分析，因此跟踪年份列中每个观察的起源，然后操纵它来查看每个人的队列。 对于“.csv”文件，我有一些工作代码，但我想在处理实际数据时会遇到一些问题。我的代码如下：

library(data.table) #-> for fread
library(readr) #-> for map_df
library(dplyr) #-> for pipe_operator
library(stringr) #-> for str_sub

### Get desired filenames structure (e.g. 4 digits for year)
filenames <- list.files("~/R/Data", full.names = TRUE, pattern = "*.csv")
sites <- str_sub(filenames, start = -5, end = -5) #just for experimental purpose -5 to -5
### Get length of each file
file_lengths <- unlist(lapply(lapply(filenames, read_csv2), nrow))
### Repeat sites using lengths
file_names <- rep(sites,file_lengths)
###actual file-reading
map_df_fread <- function(path,
                         pattern = "*.csv",
                         sep = ";",
                         dec = ",",
                         colClasses = NULL,
                         select = NULL) {
    list.files(path, pattern, full.names = TRUE) %>% 
    map_dfr(~fread(., sep = sep, dec = dec, stringsAsFactors = F,
                   header = T, colClasses = colClasses,
                   select = select)) %>%
    tibble() %>% mutate(year = file_names)
}

它做了它应该做的事情，至少在小数据集上是这样。实际数据中每个变量的观测值超过 10m。由于我想处理“*.dta”文件，我想我可以用 read_dta 替换 read_csv2() 但我担心的是在这一步中 R 会读取完整的数据，我想这将花费非常多的时间。无论如何要在我的文件读取功能中包含第一步（必须执行 20 次）？ 我真的很想限制所有这些计算所需的内存量。

任何帮助将不胜感激！

提前致谢

Answer 1

df <- data.frame(a = 1:5, b = c(T,F,T,F, F)), df$nms <- "filename" 之所以有效，是因为它被回收了。结合在迭代器上工作的imap 函数，我们可以直接创建一列（操作的）文件名，而不是两次读取文件。要使这对 .dta 文件可行，只需替换相关的 I/O 函数和 list.files 中的模式或函数参数。

# NOTRUN
write.csv(data.frame(a = 1:5, b = c(T, F, T, F, F)), file = "t1.csv")
write.csv(data.frame(a = 1:3, b = c(F, F, F)), file = "t2.csv")

f <- function(path = NULL){
  if(is.null(path)) path <- getwd()
  fls <- as.list(list.files(path = path, pattern = ".csv"))
  string <- lapply(fls, substring, 2, 2)
  lapply(fls, data.table::fread) |>
    purrr::imap(~.x |> transform(year = string[.y]))
}

f()

[[1]]
   V1 a     b year
1:  1 1  TRUE    1
2:  2 2 FALSE    1
3:  3 3  TRUE    1
4:  4 4 FALSE    1
5:  5 5 FALSE    1

[[2]]
   V1 a     b year
1:  1 1 FALSE    2
2:  2 2 FALSE    2
3:  3 3 FALSE    2

或者如果你想要一个单独的data.frame

do.call(rbind, f())