【问题标题】:Reading large JSON files from S3 in RStudio EC2 instance (Louis Aslett's AMI)从 RStudio EC2 实例(Louis Aslett 的 AMI)中的 S3 读取大型 JSON 文件
【发布时间】:2018-04-28 18:27:43
【问题描述】:

我正在经历与这个问题here类似的问题:

我在 AWS S3 上有一个大的 JSON 文件,并试图通过 RStudio(来自 Louis Aslett 的 AMI 的 EC2 实例)访问它。 我什至尝试使用 30GB 内存从 t2 迁移到 r4.xlarge,但无济于事: 我收到错误:

writeBin(httr::content(r, as = "raw"), con = file) 中的错误:long 尚不支持的向量:connections.c:4147

如果我使用免费层实例,那么它会给我错误:

curl::curl_fetch_memory(url, handle = handle) 中的错误:失败 书写体 (0 != 16360)

似乎我在参考资料中提到的问题已经找到了解决方法,尽管我无法完全遵循它。当他们说目录需要不是“家”时,有人可以解释一下吗?你如何实施它?因为在 Louis AMI 中没有这样做的权限。 这个问题可能非常基本,但我在这里失去了理智。

干杯! 一个

【问题讨论】:

    标签: amazon-web-services amazon-s3 amazon-ec2 amazon-ami


    【解决方案1】:

    “当有人说目录需要是“home”以外的其他内容时,可以稍微解释一下。你如何实现它?因为在 Louis AMI 中没有这样做的权限。这个问题可能非常基本但我在这里发疯了。”

    在这里我很同情你,因为这对于来自 windows 恕我直言的新 linux 用户来说是违反直觉的,具有讽刺意味的是,我已经看到两个问题回答这个问题,因为它们被认为对于这个高级论坛来说太基础了。但是您并不孤单,从使用相同 AMI 读取数据的个人经验来看,这听起来像是相同的问题。

    如果您上传到实例上的其他驱动器,则很可能会解决此问题。由于 Louis Aslett Rstudio AMI 基于此 8-10GB 空间,因此您必须将工作目录设置在此之外,即主目录。从 Rstudio 服务器界面看不直观。

    我建议查看其他目录(例如,在 Rstudio 的 RHS 上的 Rstudio 目录选择框或 linux 命令行上的 df 命令中上几级)。然后在另一个目录(例如 xda 或任何有足够空间的目录)中设置 wd() 并尝试再次读取。

    【讨论】:

      猜你喜欢
      • 2015-06-11
      • 2014-09-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多