将 2000 个对象从一个 S3 存储桶移动到另一个存储桶

Question

我需要将大约 2000 个 S3 对象从一个 S3 存储桶移动到同一区域和同一 AWS 账户中的另一个存储桶。我有一个需要移动的 S3 键列表（不是存储桶中的每个对象）。如果我为每个键使用forEach 循环并使用s3Client.copyObject()，则请求会在 30 秒后超时，并且它能够复制大约 200 个对象。在这种情况下我该怎么办。

我的代码是这样的

List<String> s3Keys;   // size of list is 1000
s3Keys.forEach(key -> 
    s3Client.copyObject(bucket1, key, bucket2, key)
);

它会持续运行 30 秒。然后超时。

Answer 1

您或许应该尝试使用 S3 批处理操作。