将 URL 指向的文件保存到 AWS S3

【问题标题】：Save Files pointed by URL to AWS S3将 URL 指向的文件保存到 AWS S3
【发布时间】：2015-05-07 15:12:39
【问题描述】：

我在一个文本文件中有一组 URL。这些 URL 指向一些 pdf、doc、HTML 或 txt 文件。我想将这些文件保存在 AWS S3 上，而不必在本地系统上下载文件然后将其推送到 s3。（最好是 python 或 bash 脚本）。

提前致谢。

【问题讨论】：

【解决方案1】：

很遗憾，这是不可能的。 S3 只接受内容，不接受要下载的 URL。但是，您可以使用其他低成本 AWS 服务为您进行下载/上传。

考虑创建一个接受 URL 并下载该 URL，然后将其上传到 S3 的 Lambda。您可以运行一个循环遍历文件行的脚本，并为每一行触发一个 Lambda（注意 lambda 并发运行限制）。

使用 Request 库在 Node.js 中该 lambda 的代码会非常简单

【讨论】：