【发布时间】:2016-04-19 01:08:46
【问题描述】:
为了工作需要,用aws Java SDK实现'aws s3 cp'命令会很方便。
有TransferManager等现成的类,AmazonS3Client有get方法。他们可以轻松地将文件下载到本地文件系统,但直接使用这些方法只是单线程。给定的“aws s3 cp”无论如何都支持多部分副本。有没有人熟悉这个问题?
提前致谢
【问题讨论】:
为了工作需要,用aws Java SDK实现'aws s3 cp'命令会很方便。
有TransferManager等现成的类,AmazonS3Client有get方法。他们可以轻松地将文件下载到本地文件系统,但直接使用这些方法只是单线程。给定的“aws s3 cp”无论如何都支持多部分副本。有没有人熟悉这个问题?
提前致谢
【问题讨论】:
TransferManager 实际上是多线程的。您可以将其传递给线程池以供使用。来自the documentation:
如果可能,TransferManager 会尝试使用多个线程来 一次上传单个上传的多个部分。处理的时候 大的内容大小和高带宽,这可以有一个显着 增加吞吐量。
【讨论】: