S3 AWS 的 IAM 角色和密钥设置使用 boto3 访问两个不同的账户存储桶

Question

我有两个不同的帐户 1）帐户一是供应商帐户，他们给了我们访问ID和访问密钥。 2) 我们拥有完全访问权限的帐户。

我们需要使用 boto3 Python 3.7 脚本将文件从供应商 S3 存储桶复制到我们的 S3 存储桶。

boto3 中用于获得最佳性能的最佳功能是什么。

我尝试使用 get_object 和 put_object。这种情况的问题是我实际上正在读取文件正文并写入它。我们如何使用更快的复制模式从一个帐户复制到另一个帐户？

我可以从头到尾进行任何设置以直接复制吗？只要性能好，我们也可以使用 Lambda。我不能要求供应商进行任何更改，除非他们给我们访问密钥。

谢谢 汤姆

Answer 1

在 2 个存储桶之间复制数据的最快方法之一是使用 S3DistCp，仅当您要复制大量文件时才值得使用它，它会通过 EMR 集群以分布式方式复制它们。 带有 boto3 的 Lambda 函数将是一个选项，只有在复制时间少于 5 分钟的情况下，您可以考虑使用 ECS 任务（基本上是 Docker 容器）。

关于如何使用boto3复制的部分，您可以查看here。 看起来您可以执行以下操作：

import boto3

s3_client = boto3.client('s3')
s3_resource = boto3.resource('s3')

source_bucket_name = 'src_bucket_name'
destination_bucket_name = 'dst_bucket_name'

paginator = s3_client.get_paginator('list_objects')
response_iterator = paginator.paginate(
    Bucket=source_bucket_name,
    Prefix='your_prefix',
    PaginationConfig={
        'PageSize': 1000,
    }
)
objs = response_iterator.build_full_result()['Contents']

keys_to_copy = [o['Key'] for o in objs] # or use a generator (o['Key'] for o in objs)

for key in keys_to_copy:
    print(key)
    copy_source = {
        'Bucket': source_bucket_name,
        'Key': key
    }
    s3_resource.meta.client.copy(copy_source, destination_bucket_name, key)

建议的解决方案首先获取要复制的对象的名称，然后为每个对象调用复制命令。 为了使其更快而不是使用 for 循环，您可以使用 async。

如果您在 Lambda 或 ECS 任务中运行代码，请记住创建一个可以访问源存储桶和目标存储桶的 IAM 角色。