如何从 URL 将数据导入 Amazon S3

Question

我有一个 S3 存储桶和一个大文件的 URL。我想将位于 URL 的内容存储在 S3 存储桶中。

我可以将文件下载到本地计算机，然后使用 Cloudberry 或 Jungledisk 或其他任何方式将其上传到 S3。但是，如果文件很大，这可能需要很长时间，因为文件必须传输两次，而且我的网络连接速度比亚马逊的慢。

如果我有很多数据要存储在 S3 中，我可以启动一个 EC2 实例，使用 curl 或 wget 将文件检索到该实例，然后将数据从 EC2 实例推送到 S3。这行得通，但如果我只想归档一个文件，这需要很多步骤。

有什么建议吗？

Answer 1

您可以将文件直接从源流式传输到 S3。

如果你使用节点，你可以使用streaming-s3。