AWS CLI S3 复制停止而没有任何错误答案

【问题标题】：AWS CLI S3 Copy stopping without any errorAWS CLI S3 复制停止而没有任何错误
【发布时间】：2016-02-23 05:55:35
【问题描述】：

我正在尝试将一个大型 csv 文件 (100GB) 从 S3 下载到 EC2 实例上已安装的驱动器中。

我已经下载了 AWS-CLI 并使用了命令：aws s3 cp s3://bucket/file.csv . --region=us-east-1，一切似乎都运行良好，下载了大约 70GB 的数据，然后突然它似乎停止并存在，没有任何消息或错误，删除它创建的文件的一部分。

Completed 642 of 916 part(s) with 1 file(s) remaining

然后它就停止了。

为什么会这样？我该如何解决？我尝试使用s3cmd get，但它太超时并且变得非常慢，以至于它几乎停止下载任何东西。

有什么想法吗？网络问题？磁盘问题？ API 问题？

谢谢

【问题讨论】：

您使用的是什么--version 的 CLI？昨天发布了 1.9.8 版本，其中包含在遇到操作系统问题时静默失败的修复 (github.com/aws/aws-cli/issues/1645)。
aws-cli/1.2.9 :( 我在 Ubuntu 上使用了 apt-get install
我们正在为 mc 工具开发一个 fix
在这种情况下，您可以向 Ubuntu 软件包维护者开一张票。同时，您可以使用 pip 切换到最新版本。

【解决方案1】：

您也可以尝试https://github.com/minio/mc，它实现了可恢复的下载和上传。

此外，它还为您正在进行的操作提供会话，如果出现任何错误，它会优雅地保存会话，您可以从中断处继续。

mc 是用 Golang 编写的，并在Apache license v2 下发布。请向我们提供反馈。

【讨论】：