在没有服务器的 s3 存储桶之间移动大文件（500GB 或更多）

Question

我有一个小的 Python 脚本，它运行 Lambda 作业，以便在上传文件后立即将文件从不受限制的 s3 存储桶移动到受限制的 s3 存储桶。最初的目标是 50GB 文件，现在是 500GB 文件（或更大）的目标。 Lambda 容器在 15 分钟停止，我只能在 Lambda 超时结束前传输大约 100GB。

s3_resource = boto3.resource('s3')  #for s3 delete function
... other stuff ...
s3_resource.meta.client.copy(Bucket=target_bucket, Key=key, CopySource=copy_source, ExtraArgs={'ServerSideEncryption':'AES256'})
#boto3 manual states s3_resource.meta.client.copy "is a managed transfer which will perform a multipart copy in multiple threads if necessary."

我环顾四周，发现的选项是：

1. 使用 ECS 容器运行作业，由 s3 事件和 lambda 触发
2. 使用 Step Functions 为分段上传生成一个循环，持续时间超过 15 分钟

我还没有使用过以太服务。 ECS 与 Step Function 的优缺点是什么？他们是否可以调整其他方式（代码或设置）以提高文件传输限制。

更新 1 系统详情。

“公共”存储桶用于 SFTP 服务。这是替换 Linux 机器上的 SFTP 服务器。 当文件发送给我时，Lambda 会检查内部需要放置的位置。 当我使文件可供下载时，该文件所在目录的 lambda 会将其放置在正确的 SFTP 目录中。在给定窗口之后存储桶策略存档文件，除非再次需要，否则不允许下载它们。 目标是发送给我的文件不会保留在公开/SFTP 公开的存储桶上。当文件发布以供下载时，它们只会在一段时间内存在。而我的内部存储桶保留和使用文件。 即使有 SFTP 访问控制层，我也希望外部暴露的存储桶大部分是空的。

更新 1 找到 Step Function 分段上传示例

我发现了一个示例，其中包含一些分段上传的代码片段（顺序 [a, 然后 b, 然后 c...] 和并行部分 [a, b, and c, 然后...] ）。它看起来确实像很多会话 ID 管理。不同的是，在很长时间没有看它之后，我不想在 6 个月内遇到麻烦。

Answer 1

您可以使用 S3 复制功能。这将允许您复制第一个 S3 中的信息并将其复制到不同的 AWS 区域（跨区域复制），或者您可以跨同一 AWS 区域中的存储桶复制对象。 此功能在 S3 上可用，如下图所示。

现在，Lambda 中的 15 分钟限制是硬性限制。此外，如果您的代码持续时间超过 15 分钟，那么 lambda 就不是一个合适的解决方案。

Answer 2

一个非常简单的解决方案是使用 Amazon EC2 实例而不是 AWS Lambda 函数。

如果您可以将文件放在第一个存储桶中一段时间​​，那么您可以简单地定期运行实例（例如，一天两次）。如果您需要它更快地工作，您可以有一个 Lambda 函数，当出现新文件时启动 EC2 实例。

Amazon EC2 实例的成本实际上相当低。 t2.nano 实例只有 $0.0058 per Hour 并且您只需按每秒付费。

流程是：

• Amazon S3 事件在创建新对象时触发，该对象运行 AWS Lambda 函数
• AWS Lambda 函数启动现有的 Amazon EC2 实例
• EC2 实例在/var/lib/cloud/scripts/per-boot/ 中有一个脚本，它会在每次启动时自动执行（不仅仅是第一次启动）：

aws s3 mv --recursive . s3://target-bucket/
aws s3 mv --recursive . s3://target-bucket/
sudo shutdown now -h

这会将文件移动到目标存储桶，这意味着文件被复制然后删除。如果多个文件彼此靠近上传，则不会出错，因为 Lambda 函数只会尝试启动已启动的实例。 mv 行是有意复制的，以便在复制期间上传更多文件时再次运行。 （它可以更聪明地编写来检查文件并保持循环。）

虽然t2.nano 实例的网络带宽有限，但它应该足以复制大型对象，因为它只是将CopyPart() 消息发送到 S3，而不是传输数据本身。