【问题标题】:How to convert files in s3 from intelligent tier to standard tier如何将s3中的文件从智能层转换为标准层
【发布时间】:2020-12-09 19:22:31
【问题描述】:

我在 S3 存储桶中有 LZO 文件,除了最新的 LZO 文件其余都在智能层存储类中,如果我在智能层 LZO 文件之上运行我的 spark 程序,则输出不完整(不像在标准类数据上运行时)在数据和结果文件大小方面。

我找到了冰川标准的以下方法

$ aws s3api restore-object --bucket awsexamplebucket --key dir1/example.obj --restore-request '{"Days":25,"GlacierJobParameters":{"Tier":"Standard"}}'

我将当前存储桶位置的 s3 副本复制到新位置,并将数据从智能转换为标准

是否有任何其他方法可以将智能层转换为标准存储类,如果没有其他方法可以解决这个问题。任何帮助将不胜感激。

谢谢

【问题讨论】:

    标签: amazon-web-services amazon-s3


    【解决方案1】:

    要更改现有对象的存储类,您必须使用copy-object 复制它。来自AWS docs

    您还可以通过使用 PUT Object - Copy API制作对象的副本,将已存储在 Amazon S3 中的对象的存储类更改为任何其他存储类。

    【讨论】:

    • (a) AWS SDK 允许您复制到自身,以进行就地更新。 Hadoop fs rename() 命令复制到一个新的目录树,所以也应该做正确的事情。
    猜你喜欢
    • 2021-07-15
    • 1970-01-01
    • 2021-07-15
    • 1970-01-01
    • 1970-01-01
    • 2020-02-06
    • 2016-08-26
    • 2017-04-30
    • 2017-10-24
    相关资源
    最近更新 更多