【发布时间】：2014-08-26 14:03:23
【问题描述】：
我们的目标是从 AWS 下载大约 500 万个小文件到 CentOS 服务器。我们找到了 s3cmd 实用程序，它对几乎所有事情都非常有用。除了下载，因为它只支持一个线程 :( 下载60天，太疯狂了！
有没有新版本的s3cmd或者其他方式可以多线程方式下载所有文件？
【问题讨论】：
-
你的下载不受网络连接的限制吗？
-
@JeanLogeart 是的，我是，但是单线程的最大速度为 500 kBps，但我的互联网最多可以处理 10 Mbps。我已经在另一台机器（Windows）上使用 S3Browser 在多线程模式下进行了测试，它在 40 个线程中实现了 4-5 Mbps 的速度。但我在 CentOS 中也需要。
-
你试过打开多个终端吗？
-
@JeanLogeart 我已经考虑过了。但是它将如何处理相同的文件？因为将整个桶分成几部分并不是那么简单的任务。可以说这是一个解决方案，但我只会在最坏的情况下使用它。
标签： multithreading amazon-web-services download amazon s3cmd