读入 R 最快的文件格式是什么？

Question

.rdata 文件可能是 R 加载的禁食文件格式似乎是最直观的，但是在扫描一些堆栈帖子时，似乎更多的注意力集中在提高 .csv 或其他格式的加载时间上。有确定的答案吗？

Answer 1

不是一个明确的答案，但下面是加载相同的数据帧读取为 utils::read.delim()、readr::read_tsv()、data.table::fread() 的 .tab 文件和作为二进制 .RData 文件使用的时间system.time()函数：

.tab 与 utils::read.delim

system.time(
  read.delim("file.tab")
)
#   user  system elapsed 
# 52.279   0.146  52.465

.tab 与 readr::read_tsv

system.time(
  read_tsv("file.tab")
)    
#   user  system elapsed 
# 23.417   0.839  24.275

.tab 与 data.table::fread

在 @Roman 的请求下，同样的 ~500MB 文件在 3 秒内加载完成：

system.time(
  data.table::fread("file.tab")
)
# Read 49739 rows and 3005 (of 3005) columns from 0.400 GB file in 00:00:04
#    user  system elapsed 
#   3.078   0.092   3.172 

.RData同一个dataframe的二进制文件

system.time(
  load("file.RData")
)
#    user  system elapsed 
#   2.181   0.028   2.210

显然不是确定的（样本大小 = 1！），但在我的情况下，数据帧为 500MB：

1. 二进制.RData 最快
2. data.frame::fread() 紧随其后
3. readr::read_tsv 慢了一个数量级
4. utils::read.x 最慢，只有 readr 的一半