在 R 中读取 .sav 文件的第一列答案

【问题标题】：Read first column of .sav file in R在 R 中读取 .sav 文件的第一列
【发布时间】：2020-12-16 17:02:38
【问题描述】：

我想将 .sav 文件读入 R。但是，它太大了 (>11GB)。如果我只能读取部分数据，那应该没问题，但并不理想。那么，有没有办法执行以下任一操作：

只读取标题（用于列名）
仅导入某些列（而不是整个数据集） - 我尝试了 haven 中的函数，但似乎无法让 col_select 参数起作用。
读取整个数据集 - 我知道 .csv 文件的工具，但不知道 .sav 文件的工具。

感谢您的帮助！

【问题讨论】：

以前有很多关于阅读.sav文件的帖子。你试过这些建议吗？文件大小可能是一个障碍，因此您最好的解决方案可能是在 SPSS 中打开文件（或让 SPSS 的人为您做），提取您想要的变量，然后保存那个小得多的文件。
我发现了很多关于阅读 .sav 文件的帖子。我还发现了很多关于读取大型数据文件（例如 .csv）的帖子。但我还没有找到详细说明如何读取大型 .sav 文件的帖子。目前，R 中流行的大数据工具（例如 ff、bigmemory、sparklyr）不具备读取 .sav 文件的能力。
看来包memisc可以做到这一点，但我没试过。这是summary。该示例从包含许多变量的文件中读取第一个变量。

标签： r import spss r-haven

【解决方案1】：

就将整个数据集导入 R 而言，我认为您无法通过块或任何类似的解决方法将其读取，并且对于整个数据集而言内存效率更高。但是，有一些简单的方法可以获得更高效的列名和/或特定变量：

获取列名可以使用n_max 参数读取空数据框（带有变量和值标签）：

# using n_max = 0 is much more memory efficient
bench::mark(read_sav(temp)[0,],
            read_sav(temp, n_max = 0))[1:9]
# A tibble: 2 x 9
  expression                     min   median `itr/sec` mem_alloc `gc/sec` n_itr  n_gc total_time
  <bch:expr>                <bch:tm> <bch:tm>     <dbl> <bch:byt>    <dbl> <int> <dbl>   <bch:tm>
1 read_sav(temp)[0, ]          1.11s    1.11s     0.902    76.5MB     6.31     1     7      1.11s
2 read_sav(temp, n_max = 0)   5.86ms   6.13ms   154.       97.2KB     1.98    78     1    505.6ms

获取特定列可以使用 select-helpers（或索引，或名称等）完成，并且更节省内存：

bench::mark(read_sav(temp)[c("V1", "V5")],
            read_sav(temp, col_select = matches("V(1|5)$")))[1:9]
# A tibble: 2 x 9
  expression                                           min   median `itr/sec` mem_alloc `gc/sec` n_itr  n_gc total_time
  <bch:expr>                                      <bch:tm> <bch:tm>     <dbl> <bch:byt>    <dbl> <int> <dbl>   <bch:tm>
1 read_sav(temp)[c("V1", "V5")]                      1.06s    1.06s     0.939    76.5MB     5.64     1     6      1.06s
2 read_sav(temp, col_select = matches("V(1|5)$")) 186.45ms 187.89ms     5.32    528.7KB     0        3     0    563.5ms

数据设置：

test <- as.data.frame(matrix(1:1e7, nrow = 1e4, ncol = 1e3))
temp <- tempfile()
write_sav(test, temp)

# file.remove(temp)

【讨论】：