【问题标题】:AWS S3: Bulk move files within bucketAWS S3:在存储桶中批量移动文件
【发布时间】:2019-08-01 21:37:18
【问题描述】:

我有许多文件(数百万)分布在 S3 存储桶中的众多文件夹(数十万)中,我需要根据自定义映射重命名所有文件夹。

我知道没有重命名方法,所以我必须复制和删除。我目前可以通过循环所有对象并使用新前缀复制来做到这一点,但这会很慢。

我想我想以某种方式执行批量操作,但我找不到这样做的方法。

【问题讨论】:

    标签: amazon-s3


    【解决方案1】:

    aws s3 mv 命令有帮助吗?

    要查看它是否可以解决问题,请先使用dryrun 尝试:

    aws s3 mv s3://bucketname/the/original/path/ s3://bucketname/the/new/path/ --recursive --exclude "*" --include "*whatever_common_part_of_name*.*" --dryrun
    

    【讨论】:

    • 它可能会有所帮助,但在这种情况下,我需要根据文件名将文件移动到不同的路径,因此单个移动命令没有那么有用(如果我没记错的话,我最终运行了逐个移动文件的脚本)
    猜你喜欢
    • 1970-01-01
    • 2020-05-29
    • 1970-01-01
    • 2020-09-15
    • 2015-07-21
    • 2021-04-09
    • 1970-01-01
    • 2020-06-15
    • 1970-01-01
    相关资源
    最近更新 更多