复制大文件时 AWS cli 抛出错误答案

【问题标题】：AWS cli throws error when copying large files复制大文件时 AWS cli 抛出错误
【发布时间】：2020-08-27 14:13:58
【问题描述】：

我正在尝试使用 aws cli 工具将对象从 s3 存储桶复制到另一个存储桶。

它适用于小对象，但在大文件桶上，一旦开始复制，我就会收到以下错误之一：

copy failed: s3://bucket/file.ogv to s3://bucket-tmp/file.ogv ('Connection aborted.', OSError(0, 'Error'))

或

copy failed: s3://bucket/file.ogv to s3://bucket-tmp/file.ogv An error occurred (NoSuchKey) when calling the UploadPartCopy operation: Unknown

如果我包含 --no-guess-mime-type 我得到 p>

fatal error: ('Connection aborted.', OSError(0, 'Error'))

我尝试了 --debug，但我真的不太了解调试输出，但我可以在日志中再次看到 OSError(0, 'Error')。

有人见过这样的吗？在另一个答案 (this one) 中，人们讲述了另一个工具 s3cmd，但我无法使其工作。

我正在尝试使用路径样式的 url 和 https 端点访问公司服务器上的 ceph。

我的命令：

aws --endpoint-url https://myendpoint.url s3 cp s3://mybucket s3://mybucket-tmp --recursive

另外，当我尝试配置 s3cmd 时，我得到一个丑陋的 python 调试输出，中间有 OSError: [Errno 0] Error。

【问题讨论】：

所以您实际上是在将命令发送到 ceph，而不是 AWS？如果您直接访问 Amazon S3（未指定端点），它是否有效？
我没有要测试的 Amazon S3 帐户。只是我的公司服务器。

标签： amazon-s3 aws-cli

【解决方案1】：

我发现如果我使用 s3api 命令而不是 s3 命令，它可以工作。工作命令格式：

aws --endpoint-url <my-endpoint-url> s3api copy-object --copy-source my-source-bucket/whatever/path/file.txt --key whatever/path/file.txt --bucket my-destination-bucket

一次只复制一个文件。您可以使用 s3 命令 ls 或 s3api 命令 list-objects 获取存储桶中的对象列表

【讨论】：