在 EC2 上使用 Louis Aslett 的 AMI 将大文件上传到 RStudio 时遇到问题答案

【问题标题】：Trouble Uploading Large Files to RStudio using Louis Aslett's AMI on EC2在 EC2 上使用 Louis Aslett 的 AMI 将大文件上传到 RStudio 时遇到问题
【发布时间】：2014-09-13 12:54:59
【问题描述】：

按照这个简单的教程http://www.louisaslett.com/RStudio_AMI/ 和视频指南http://www.louisaslett.com/RStudio_AMI/video_guide.html 我已经在EC2 上设置了一个RStudio 环境。

唯一的问题是，我无法上传大文件 (> 1GB)。

我可以上传小文件就好了。

当我尝试通过 RStudio 上传文件时，出现以下错误：

来自服务器的意外空响应

有谁知道我如何上传这些大文件以在 RStudio 中使用？这就是我首先使用 EC2（处理大数据）的全部原因。

【问题讨论】：

标签： amazon-ec2 cloud rstudio rstudio-server

【解决方案1】：

您没有对 Amazon 服务器的 shell 访问权限吗？不要依赖 RStudio 的上传（合理地可能有 2Gb 限制）并使用适当的 unix 开发工具：

rsync -avz myHugeFile.dat amazonusername@my.amazon.host.ip:

在您的本地 PC 命令行上（安装 cygwin 或其他 unixy 兼容系统）会将您的大文件传输到您的亚马逊服务器，如果中断将从该点恢复，也会压缩数据以进行传输。

对于像这样的 Windows gui，WinSCP 是我们在 Linux 之前糟糕的过去所做的事情。

【讨论】：

【解决方案2】：

好吧，我自己也遇到了同样的问题，这非常令人沮丧，但最终我意识到这里发生了什么。无论您的实例大小如何，AWS 的默认主目录大小都小于 8-10GB。因为这是试图上传到家里，所以没有足够的空间。有经验的 linux 用户不会落入这个陷阱，但希望任何其他遇到此问题的 Windows 新用户都能看到这一点。如果您上传到实例上的不同驱动器，则可以解决此问题。由于 Louis Aslett Rstudio AMI 基于此 8-10GB 空间，因此您必须将工作目录设置在此之外，即主目录。从 Rstudio 服务器界面看不直观。虽然这是一个高级论坛，而且这是一个新手错误，但我希望没有人删除这个问题，因为我花了几个月的时间在这个问题上，我认为其他人也会这样做。我希望这对你有意义？

【讨论】：

出现了另一个问题，要求澄清“当他们说目录需要是“家”以外的东西时，请解释一下。你如何实现它？因为没有权限在 Louis AMI 中做到这一点”stackoverflow.com/questions/47308952/… 我认为这可能与此相关，因此我已将指向此问题的链接放在此评论中，因为它要求澄清与此处建议的方法等效的方法

【解决方案3】：

我在使用 5GB 文件时遇到了类似的问题。对我有用的是使用 SQLite 创建一个包含我需要的 csv 文件的数据库。使用 SQLite 代码来创建数据库。然后我使用 RStudio 中的一个函数与本地数据库进行通信。这样，我就能够引入 csv 文件。如果您愿意，我可以追踪我使用的 R 代码。

【讨论】：

【解决方案4】：

这可能与您的网络服务器有关。您是使用 nginx 还是 apache 作为您的 Web 服务器。如果是这样，您可以修改 nginx 服务器中的上传功能。如果您在 Web 服务器的前端运行 nginx，我建议您在 nginx.conf 文件中进行以下修复。

http {
    ...
    client_max_body_size 100M;
}

https://www.tecmint.com/limit-file-upload-size-in-nginx/

【讨论】：