【问题标题】:s3cmd ls and sync command costs3cmd ls 和同步命令成本
【发布时间】:2015-04-07 05:21:22
【问题描述】:

当我使用命令查看文件夹的内容时

s3cmd ls s3://mybucket/my_big_folder/

假设我的文件夹包含 10000 个文件。它将有多少个 LIST 操作?只有一个或 10000 个操作?

第二个问题:如果本地和远程文件夹内容相同,有多少操作会为 my_big_folder 生成“同步”命令?

这很重要,因为我想制作一个“清理”脚本(存储桶中的 5m 个文件 + 1.5m 用于删除),并且在每个请求 10000 个操作的情况下,这将花费一打钱,而我的老板不会很高兴:-(

【问题讨论】:

    标签: amazon-s3 s3cmd cost-management


    【解决方案1】:

    列出存储桶的命令分批执行,每个请求最多 1000 个对象。删除命令,尤其是在 [sync] 操作中,每个请求也可以批量删除多达 1000 个对象(最近在 s3cmd 1.5.2 中添加了批量删除)。如果对象很大(默认情况下 >5MB;通过分段上传上传的任何内容),在获取对象列表时,它也会为每个对象发出单个请求。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-06-18
      • 2016-11-15
      • 2013-05-22
      • 2015-08-11
      • 1970-01-01
      相关资源
      最近更新 更多