使用 AWS lambda 将文件从一个 s3 存储桶移动到 AWS 中的另一个存储桶

Question

我正在尝试使用 python boto3 AWS lambda 函数将超过一小时的文件从一个 s3 存储桶移动到另一个 s3 存储桶，但情况如下：

1. 两个存储桶可以在同一个帐户和不同的地区。
2. 两个存储桶可以位于不同的帐户和不同的区域。
3. 两个存储桶可以位于不同的帐户和同一区域。

我在使用@John Rotenstein 提到的 python 代码移动文件方面得到了一些帮助

import boto3
from datetime import datetime, timedelta

SOURCE_BUCKET = 'bucket-a'
DESTINATION_BUCKET = 'bucket-b'

s3_client = boto3.client('s3')

# Create a reusable Paginator
paginator = s3_client.get_paginator('list_objects_v2')

# Create a PageIterator from the Paginator
page_iterator = paginator.paginate(Bucket=SOURCE_BUCKET)

# Loop through each object, looking for ones older than a given time period
for page in page_iterator:
    for object in page['Contents']:
        if object['LastModified'] < datetime.now().astimezone() - timedelta(hours=1):   # <-- Change time period here
            print(f"Moving {object['Key']}")

            # Copy object
            s3_client.copy_object(
                Bucket=DESTINATION_BUCKET,
                Key=object['Key'],
                CopySource={'Bucket':SOURCE_BUCKET, 'Key':object['Key']}
            )

            # Delete original object
            s3_client.delete_object(Bucket=SOURCE_BUCKET, Key=object['Key'])

如何修改以满足需求

Answer 1

另一种方法是使用Amazon S3 Replication，它可以复制存储桶内容：

• 在同一区域内，或在区域之间
• 在同一个 AWS 账户内，或在不同账户之间

当组织需要在不同区域复制其数据的另一个副本时，或仅出于备份目的时，经常使用复制。例如，可以将关键公司信息复制到普通用户无法访问的另一个 AWS 账户。这样，如果某些数据被删除，其他地方就会有另一个副本。

复制需要在源存储桶和目标存储桶上都激活版本控制。如果您需要加密，请使用标准Amazon S3 encryption options。数据在传输过程中也会被加密。

您配置源存储桶和目标存储桶，然后通过提供前缀或标签来指定要复制的对象。仅在激活复制后才会复制对象。现有对象将不会被复制。有意不复制删除以避免恶意操作。见：What Does Amazon S3 Replicate?

S3 复制没有“额外”成本，但您仍需支付在区域之间移动对象时的任何数据传输费用，以及 API 请求（这些费用很少），当然还有存储费用。

Answer 2

区域间移动

这不是问题。您只需在存储桶之间复制对象，Amazon S3 就会解决这个问题。

在帐户之间移动

这有点困难，因为代码将使用一组凭据，必须具有对源存储桶的 ListBucket 和 GetObject 访问权限，以及对目标存储桶的 PutObject 权限。

此外，如果从源帐户使用凭据，则必须使用ACL='bucket-owner-full-control' 执行复制，否则目标帐户将无权访问该对象。当使用来自目标帐户的凭据执行复制时，这不是必需的。

假设 Lambda 代码在 Account-A 中运行，并将一个对象复制到 Account-B。 IAM 角色 (Role-A) 已分配给 Lambda 函数。让Role-A 访问Account-A 中的存储桶非常容易。但是，Lambda 函数将需要 Account-B 中的存储桶 (Bucket-B) 中的 PutObject 的权限。因此，您需要将存储桶策略添加到 Bucket-B，以允许 Role-A 到 PutObject 进入存储桶。这样，Role-A 就拥有从 Bucket-A 读取和写入 Bucket-B 的权限。

所以，把它们放在一起：

• 为 Lambda 函数创建一个 IAM 角色 (Role-A)
• 根据需要为角色授予相同帐户中存储桶的读/写访问权限
• 对于其他账户中的存储桶，添加一个存储桶策略，授予 IAM 角色必要的访问权限 (Role-A)
• 在copy_object() 命令中，包含ACL='bucket-owner-full-control'（这是唯一需要更改的编码）
• 不用担心跨区域做任何事情，它应该会自动工作