将 100,000 张图像传输到 S3。最快的方法是什么？ [关闭]答案

【问题标题】：Transferring 100,000 images to S3. What's the quickest way? [closed]将 100,000 张图像传输到 S3。最快的方法是什么？ [关闭]
【发布时间】：2010-11-03 20:52:04
【问题描述】：

我正在寻找将大约 100,000 张图像从服务器传输到我的 Amazon S3 存储桶的最快方法。

是否会循环遍历每个图像并执行单独的 PUT 请求？我希望有更快的方法，但没有找到任何东西。

【问题讨论】：

@Robert Massaioli FTP 在 S3 中不受支持。

标签： amazon-s3

【解决方案1】：

也许试试蜗牛邮件？

Amazon Import/Export

【讨论】：

【解决方案2】：

s3funnel。我上周使用它将大约 3,000,000 张图像传输到 S3。它是多线程的，因此往往非常快。我测试了许多商业和开源工具，s3funnel 是迄今为止最好的 IMO。

【讨论】：

我看不到将 s3funnel 指向目录的方法 - 您是否必须手动构建包含 3,000,000 个文件的列表？
我有一段时间没有使用 s3funnel - awscli 工具现在有 S3 同步选项，所以我一直在使用它。
IIRC 正确，在这种情况下我只需要将文件传输到存储桶的根目录。

【解决方案3】：

不熟悉 S3，但如果没有批量上传工具，您可以通过在多个并行进程中循环遍历图像来加快速度，直到您的网络连接达到最大。

【讨论】：

【解决方案4】：

您可以尝试使用Image Uploader批量上传控件。或者，如果这是一项一次性任务，我考虑使用一些 Amazon sample。

无论如何，如果您想使用 PUT/POST 请求进行上传，每个请求一个文件 - 这是亚马逊的 API 限制，在我看来没有什么可做的。

【讨论】：

【解决方案5】：

我们 ( CloudOpt ) 构建了一个解决方案来优化数据到 Amazon S3 的传输，称为 CloudOptimizer。它使用对称重复数据删除、压缩和许多其他技术。看看，让我知道你的想法。我很想得到您的反馈。

http://www.cloudopt.com

【讨论】：