在同一区域将大文件从 S3 下载到 EC2 的最快方法是什么？答案

【问题标题】：What is the fastest way to download large files from S3 to EC2 in same region?在同一区域将大文件从 S3 下载到 EC2 的最快方法是什么？
【发布时间】：2016-08-07 04:37:35
【问题描述】：

我想将大文件从 s3 下载到 ec2 实例以进行文件操作。最快、最有效的方法是什么？

提前致谢！

【问题讨论】：

您可以使用VPC端点aws.amazon.com/blogs/aws/new-vpc-endpoint-for-amazon-s3
“最快、最高效”是什么意思？您是否尝试过一种方法并发现它不快速/高效？你能提供任何迄今为止你尝试过的例子吗？
我已经尝试过 AWS CLI 并在大约 48 秒内下载了一个 1GB 的文件。 S3 和 EC2 位于同一区域。我只是想知道是否有更快的方法，因为在这种情况下，每一秒对我来说都很重要。

标签： file amazon-web-services amazon-s3 amazon-ec2 download

【解决方案1】：

使用AWS Command-Line Interface (CLI)。

它有一个 aws s3 cp 命令来下载文件，还有一个 aws s3 sync 命令来同步本地目录和 S3 之间的内容（反之亦然）。

【讨论】：

谢谢这似乎是大家推荐的。
如果您有许多个小文件，您可能需要研究并行下载以充分利用可用带宽。但是，如果它们是大文件，由于开销较小，它不会有太大帮助。
谢谢。它的工作速度比使用 wget 快 10 倍

【解决方案2】：

实现速度的一种技术是将问题分成更小的问题，并行执行更小的问题，然后组合结果。在这种情况下，我相信可以编写一个实用程序，其中有许多工作人员，每个工作人员负责使用远程获取将文件的一部分从 S3 下载到 EBS/EFS。工人将全部并行运行。下载完所有片段后，可以将它们组合成一个文件。

【讨论】：

【解决方案3】：

s5cmd 之类的工具在下载对象方面比 aws-cli 明显更快（golang 与 python 有很大的不同）。他们的 github README 有一些性能结果，显示约 10 倍的速度差异。

它可以像这样使用： s5cmd cp s3://bucketname/object.txt localobject.txt

【讨论】：