R：解压缩大型压缩 .csv 会产生“zip 文件已损坏”警告

Question

我正在从联合国粮农组织下载一个 78MB 的 zip 文件，其中包含一个 2.66GB 的 csv。我可以使用 winzip 从文件夹中解压缩下载的文件，但无法使用 R 中的unzip() 解压缩文件：

警告 - 78MB 下载！

url <- "http://fenixservices.fao.org/faostat/static/bulkdownloads/FoodBalanceSheets_E_All_Data_(Normalized).zip"
path <- file.path(getwd(),"/zipped_data.zip")
download.file(url, path, mode = "wb")
unzipped_data <- unzip(path)

这会导致警告和解压缩文件失败：

警告信息

在 unzip(path) 中：zip 文件已损坏

在我看到的?unzip 文档中

“它确实支持bzip2压缩和> 2GB zip文件（但不支持> = 4GB文件预压缩包含在zip文件中：像许多解压缩版本一样，它可能会截断这些，在R的情况下会发出警告如果可能）”

这让我相信unzip() 应该处理我的文件，但同样的过程已成功下载、解压缩并从 FAOstat 读取多个其他较小的表格。我的 csv 大小是否有可能是此错误的根源？如果是这样，解决方法是什么？

Answer 1

我无法测试我的解决方案，这也取决于您的安装，但希望这会奏效或至少为您指出合适的解决方案：

你可以通过命令行运行winzip，this page shows the structure of the call

您还可以使用system 或shell 从R 运行命令行（这只是system 的包装器

要提取的命令行一般结构是：

winzip32 -e [options] filename[.zip] folder

因此，我们使用此结构和您的输入路径创建一个字符串，并围绕它创建一个函数，使用参数zipfile 和exdir 模拟unzip

unzip_wz <- function(zipfile,exdir){
  dir.create(exdir,recursive = FALSE,showWarnings=FALSE) # I don't know how/if unzip creates folders, you might want to tweak or remove this line altogether
  str1 <- sprintf("winzip32 -e '%s' '%s'",zipfile,exdir)
  shell(str1,wait = TRUE)  # set to FALSE if you want the program to keep running while unzipping, proceed with caution but in some cases that could be an improvement of your current solution
}

您可以尝试使用此功能代替unzip。它假定 winzip32 已添加到您的系统路径变量中，如果没有，请添加它，或者将其替换为 exec 全名，这样您就有了类似的内容：

str1 <- sprintf("'C://probably/somewhere/in/program/files/winzip32.exe' -e '%s' '%s'",zipfile,exdir)

PS：使用完整路径！命令行不知道您的工作目录（如果需要，我们可以在函数中实现该功能）。