【问题标题】:Reading large JSON files from S3 in RStudio EC2 instance (Louis Aslett's AMI)从 RStudio EC2 实例(Louis Aslett 的 AMI)中的 S3 读取大型 JSON 文件
【发布时间】:2018-04-28 18:27:43
【问题描述】:
我正在经历与这个问题here类似的问题:
我在 AWS S3 上有一个大的 JSON 文件,并试图通过 RStudio(来自 Louis Aslett 的 AMI 的 EC2 实例)访问它。
我什至尝试使用 30GB 内存从 t2 迁移到 r4.xlarge,但无济于事:
我收到错误:
writeBin(httr::content(r, as = "raw"), con = file) 中的错误:long
尚不支持的向量:connections.c:4147
如果我使用免费层实例,那么它会给我错误:
curl::curl_fetch_memory(url, handle = handle) 中的错误:失败
书写体 (0 != 16360)
似乎我在参考资料中提到的问题已经找到了解决方法,尽管我无法完全遵循它。当他们说目录需要不是“家”时,有人可以解释一下吗?你如何实施它?因为在 Louis AMI 中没有这样做的权限。
这个问题可能非常基本,但我在这里失去了理智。
干杯!
一个
【问题讨论】:
标签:
amazon-web-services
amazon-s3
amazon-ec2
amazon-ami
【解决方案1】:
“当有人说目录需要是“home”以外的其他内容时,可以稍微解释一下。你如何实现它?因为在 Louis AMI 中没有这样做的权限。这个问题可能非常基本但我在这里发疯了。”
在这里我很同情你,因为这对于来自 windows 恕我直言的新 linux 用户来说是违反直觉的,具有讽刺意味的是,我已经看到两个问题回答这个问题,因为它们被认为对于这个高级论坛来说太基础了。但是您并不孤单,从使用相同 AMI 读取数据的个人经验来看,这听起来像是相同的问题。
如果您上传到实例上的其他驱动器,则很可能会解决此问题。由于 Louis Aslett Rstudio AMI 基于此 8-10GB 空间,因此您必须将工作目录设置在此之外,即主目录。从 Rstudio 服务器界面看不直观。
我建议查看其他目录(例如,在 Rstudio 的 RHS 上的 Rstudio 目录选择框或 linux 命令行上的 df 命令中上几级)。然后在另一个目录(例如 xda 或任何有足够空间的目录)中设置 wd() 并尝试再次读取。