【问题标题】:Sync with S3 with s3cmd, but not re-download files that only changed name使用 s3cmd 与 S3 同步,但不重新下载仅更改名称的文件
【发布时间】:2014-10-18 22:47:26
【问题描述】:

我正在我的计算机和 Amazon S3 之间同步一堆文件。假设有几个文件更改了名称,但它们的内容仍然相同。我是否必须通过 s3cmd 删除本地文件,然后重新下载“新”文件,只是因为它有一个新名称?或者有没有其他方法可以检查更改?在这种情况下,我希望 s3cmd 只需根据服务器上的新名称更改本地文件的名称即可。

【问题讨论】:

    标签: amazon-s3 s3cmd


    【解决方案1】:

    s3cmd 上游(github.com/s3tools/s3cmd 主分支)和 1.5.0-rc1 最新发布的版本,可以解决这个问题,如果您使用最新版本将文件放入 S3首先使用 --preserve 选项存储每个文件的 md5sum。使用 md5sums,它知道您在本地有一个重复(即使重命名)文件,并且不会重新下载它,而是会从文件系统名称到 S3 的名称进行本地复制(或硬链接)。

    【讨论】:

    • 非常感谢,马特!后续问题:md5sum 是否可以/是否使用 s3cmd 以外的任何其他上传方法自动生成?我的意思是,如果我在服务器端使用 AWS API?或者如果我使用 Cyber​​duck 或其他客户端?另外,它只会硬链接吗?让我让它相应地更改现有的本地文件名?
    • 对于一次性上传的文件(不使用分段上传),s3cmd 可以找出重复文件,因为可以从目录列表中获取 MD5SUM。使用分段上传的文件(例如默认>15MB)不能这样做,他们需要从元数据中获取MD5SUM,只有s3cmd与文件一起保存。
    猜你喜欢
    • 2011-02-06
    • 1970-01-01
    • 2021-02-25
    • 2010-12-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多