S3 Batch：在同一区域的存储桶之间复制 1m 个对象的时间？答案

【问题标题】：S3 Batch: time to copy 1m objects between buckets in the same region?S3 Batch：在同一区域的存储桶之间复制 1m 个对象的时间？
【发布时间】：2020-02-27 09:08:29
【问题描述】：

我需要将 9200 万个对象从存储桶 A 复制到同一 AWS 区域中的存储桶 B。我知道 AWS 需要 48 小时才能生成 S3 库存报告，所以... 我想知道读取 9200 万个对象的清单并将它们复制到另一个存储桶需要多长时间。我的目标文件的平均大小为 512KB。

【问题讨论】：

附带问题：这是一次性要求，还是您会定期做的事情？如果是重复任务，您可以使用 Same Region Replication 来复制未来创建的对象。
@JohnRotenstein 这是一次性要求。
可能有用：Transfer Large Amounts of Data Between Amazon S3 Buckets

标签： amazon-web-services amazon-s3 batch-processing

【解决方案1】：

一种选择是使用S3DistCp - Amazon EMR，它会触发来自 Hadoop 集群的许多并行复制命令。

这涉及相当多的开销（使用 Amazon EMR 集群），但一旦完成，它就可以通过生成并行 API 请求来复制对象，从而非常快速地复制文件。

如果您打算自己发起复制，那么您可以尝试类似的方法来生成许多并行复制请求，而不是简单地按顺序循环遍历列表。

【讨论】：