【问题标题】:aws s3 cp > how to implement the cp command with multipart copy in the aws Java SDKaws s3 cp > 如何在 aws Java SDK 中使用多部分复制实现 cp 命令
【发布时间】:2016-04-19 01:08:46
【问题描述】:

为了工作需要,用aws Java SDK实现'aws s3 cp'命令会很方便。

有TransferManager等现成的类,AmazonS3Client有get方法。他们可以轻松地将文件下载到本地文件系统,但直接使用这些方法只是单线程。给定的“aws s3 cp”无论如何都支持多部分副本。有没有人熟悉这个问题?

提前致谢

【问题讨论】:

    标签: java amazon-s3 aws-sdk


    【解决方案1】:

    TransferManager 实际上是多线程的。您可以将其传递给线程池以供使用。来自the documentation

    如果可能,TransferManager 会尝试使用多个线程来 一次上传单个上传的多个部分。处理的时候 大的内容大小和高带宽,这可以有一个显着 增加吞吐量。

    【讨论】:

    • 非常感谢您的精彩回复 :) 实际上这是我不断提出的问题。我还注意到以 ExecutorService 作为参数的构造函数。但我的问题是我不知道怎么做。我应该自己实现一个 ExecutorService 吗?或者是否有任何线程池?感觉必须自己实现ExecutorService
    • 我很确定,根据不将线程池作为参数的构造函数的文档,如果你不传递它,它只会在内部创建一个线程池.
    猜你喜欢
    • 1970-01-01
    • 2018-09-16
    • 1970-01-01
    • 2021-12-23
    • 1970-01-01
    • 1970-01-01
    • 2014-08-28
    • 1970-01-01
    • 2023-02-09
    相关资源
    最近更新 更多