【问题标题】:In AWS Glacier, is there any way to reduce request of file?在 AWS Glacier 中,有什么方法可以减少文件请求?
【发布时间】:2016-01-21 00:03:40
【问题描述】:

当我上传档案时,我知道上传价格为空,但请求超过 200 000,所以我的估计账单是 15-20 美元,所以我有一种方法,我把所有文件放到zip 或 tar(压缩),还有其他方法可以减少我上传存档的请求吗?

【问题讨论】:

    标签: amazon-web-services amazon-glacier


    【解决方案1】:

    首先,glacier 是为存档而构建的,即用于长期保留数据,在这种情况下检索很少且不常见。除非非常罕见,否则不应访问它。将 Glacier 想象成一个仓库,您可以在其中打包数据并将其寄售。

    所以你不应该对 Glacier 做很多请求,如果是这样,你应该考虑改用 S3。

    话虽如此,您应该避免将所有文件压缩/压缩到一个存档文件中,因为您每个月最多可以免费检索平均每月存储空间的 5%。

    但是,请记住,每个存档对象都有 32 kb 的数据开销与之相关。因此,一个 3.2 MB 的档案大小只有 1% 的成本开销,而一个 1KB 的档案将有 97% 的成本开销。

    因此,如果您的文件太小,请将它们聚合成较大的文件;如果您的文件太大,请将它们分成较小的文件。 你只需要找到一个很好的平衡,让你的档案足够容易浏览,例如使用档案描述或本地索引(例如 nosql 存储),或两者兼而有之。

    【讨论】:

    • +1 值得一提的是,S3 生命周期策略可以在一段时间后将对象转换为标准/不频繁访问和 Glacier,并且迁移到 Glacier 的 S3 对象更容易在文件级别比您自己存储在 Glacier 中的任何内容都高……尽管两者都不适用于小文件。一个 1KB 对象的 97% 开销非常好,尽管也可以说开销是该规模的 3200% 的附加成本。 :)
    猜你喜欢
    • 1970-01-01
    • 2020-02-15
    • 2022-11-22
    • 1970-01-01
    • 2018-01-11
    • 1970-01-01
    • 1970-01-01
    • 2018-07-19
    • 1970-01-01
    相关资源
    最近更新 更多