在 S3 Bucket 中，将一个文件夹中的大量文件移动到多个文件夹中

Question

目前，我在 S3 存储桶的一个文件夹中有 3000 万个文件 我想将 750 万个文件从其中移动到 S3 存储桶中的 4 个文件夹中

我尝试使用 AWS CLI 命令，但不知道如何提及其中的文件数

aws s3 mv s3://BUCKETNAME/myfolder/ s3://BUCKETNAME/folder1/ --recursive

如何循环并仅将 750 万个文件移动到每个文件夹中？

import boto3

aws_access_key_id = ""
aws_secret_access_key = ""
bucket_from = ""
bucket_to = ""
s3 = boto3.resource(
    's3',
    aws_access_key_id=aws_access_key_id,
    aws_secret_access_key=aws_secret_access_key
)
src = s3.Bucket(bucket_from)

def move_files():
    for archive in src.objects.all():

        s3.meta.client.copy_object(
            ACL='public-read',
            Bucket=bucket_to,
            CopySource={'Bucket': bucket_from, 'Key': archive.key},
            Key=archive.key
        )

move_files()

Answer 1

我会推荐：

1.使用 Amazon S3 Inventory 获取对象列表

列出数百万个对象可能需要很长时间。相反，请使用Amazon S3 Inventory，它可以提供列出所有对象的每日或每周 CSV 文件。

这将为您提供当前对象的明确列表。

2。拆分为 4 个列表

使用文本编辑器将文件列表拆分为 4 个单独的文件 - 每个目标文件夹一个。

3.使用 Amazon S3 批量操作复制对象

复制数百万个对象需要很长时间，除非您对进程进行多线程处理。

更简单快捷的方法是Perform large-scale batch operations on Amazon S3 objects using S3 Batch Operations。它可以将 S3 Inventory 文件作为输入，然后为您并行执行所有复制操作。

4.清理

我建议您不要删除源文件，直到您确定所有复制都已正确完成。您可以再次使用 S3 Inventory 获取列表以进行比较。

一旦您想删除源文件，您可以使用 S3 Lifecycle 删除原始对象。 要非常小心不要同时删除复制的对象！仅出于这个原因，最好将对象从源文件复制到不同的存储桶。