计算 Amazon S3 存储桶大小

Question

我的要求是计算 Amazon s3 上的各个存储桶大小。目前正在使用 JetS3T 库。

我正在使用 ThreadedStorageService.listObjects() 方法来查找每个单独对象的大小，然后对其进行汇总。尽管该方法使用多个线程，但它需要很长时间才能列出存储桶中的所有对象。 80,000 个对象需要 45 分钟。

还有其他方法可以更快地计算存储桶大小吗？

Answer 1

我怀疑你的线程数很低，因为这对你来说太慢了，试着增加它。您应该可以轻松地使用 100 个线程来完成这项工作。