归档文件的 fread()

Question

我想知道从存档文件（在我的情况下为 zip 存档）读取 data.table 的推荐方法是什么。一个明显的选择是将其解压缩到一个临时文件，然后像往常一样fread() 它。我不想费心创建新文件，所以我使用来自unz() 连接的read.table()，然后使用data.table() 进行转换：

mydt <- data.table(read.table(unz(myzipfilename, myfilename)))

这工作正常，但read.table() 对于大文件很慢，而fread() 无法直接读取unz() 连接。我想知道是否有更好的解决方案。

Answer 1

看：Read Ziped CSV File with fread 为了避免 tmp 文件，您可以使用 unzip 和 -p 提取文件来管道，没有消息

您可以将这种语句与 fread 一起使用。

x = fread('unzip -p test/allRequests.csv.zip')

或者使用gunzip

x = fread('gunzip -cq test/allRequests.csv.gz')

您也可以使用 grep 或其他工具。