【问题标题】:Does aws s3 sync count as requests?aws s3 sync 算作请求吗?
【发布时间】:2016-05-19 01:50:36
【问题描述】:

我最近使用aws s3 sync 镜像了一个小型服务器(大约 450 万个文件,12TB)。如果我再次运行aws s3 sync,我是否会为另外约 450 万个请求付费,还是只会将更新/新的文件计为请求?

一般情况下,使用aws s3 sync时如何计算请求?

【问题讨论】:

    标签: amazon-s3 aws-cli


    【解决方案1】:

    sync 将列出所有必要的对象,并根据需要接受尽可能多的分页列表请求。每个列表返回 1000 个对象。然后,它会执行任何所需的获取/放置,但仅针对已根据列表调用中的响应元素进行更新的对象。因此,在您的情况下,每个已更改的对象将有约 4,500 个列表调用 + 一个 get/put。

    【讨论】:

    • 我想不出任何快速的方法来验证您的答案,但是您为亚马逊工作这一事实对我来说已经足够了!谢谢:)
    • 如果您想独立验证这一点,您可以查看源代码:github.com/aws/aws-cli/tree/develop/awscli/customizations/s3
    • 根据源代码,它使用 ls,它只会显示文件夹中的对象。如果 4.5M 文件分布在每个文件夹下只有 100 个对象,我假设它将是 45,000 次调用。请验证@JordonPhillips 谢谢。
    • S3 没有“文件夹”之类的东西。只有字符串键和 blob 值。除了设置源/目标前缀之外,键和公共前缀的布局不会影响同步。
    • 我在源代码中看到以下行.. aws s3 ls s3://mybucket --recursive --human-readable --summarize 我认为这回答了我的疑问。谢谢乔丹!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-02-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多