aws s3 sync 如何处理中断？文件是否可能已损坏？答案

【问题标题】：How does aws s3 sync handle interruptions? Is it possible that files are corrupted?aws s3 sync 如何处理中断？文件是否可能已损坏？
【发布时间】：2019-01-04 23:13:28
【问题描述】：

我想对存储桶执行 aws s3 同步。如果手动中止同步，文件会发生什么情况？是否有可能留下损坏的文件？ AWS 表示多部分上传用于大于 5G 的文件，因此不会出现损坏的文件。但是小于 5GB 的文件呢？

我在 aws 文档中找不到关于此的确切信息。我想使用 aws s3 sync 而不是 aws s3api。

【问题讨论】：

您能否提供对 AWS 文档的参考，其中提到“multipart-upload 用于大于 5G 的文件，并且此处不会出现损坏的文件”（特别是后半部分）？
当然：docs.aws.amazon.com/de_de/AmazonS3/latest/dev/mpuoverview.html。它说“Sie beginnen den Upload, dann laden Sie die Objektteile hoch und wenn alle Teile hochgeladen sind, schließen Sie den mehrteiligen Upload ab. Nach dem vollständigen Eingang der Daten aus dem mehrteiligen Upload erstellt Amazon S3 das Objekt anhand der hochgeladenen Teile”，什么意味着只有上传的所有部分都在那里，它们被放在一起并构建对象

标签： amazon-web-services amazon-s3 synchronization

【解决方案1】：

AWS S3 不是分层文件系统。它分为两个重要的组件，后备存储和索引，与典型的文件系统不同，它们是分开的……所以当你写一个对象时，你并没有真正“就地”写它。上传对象会将对象保存到后备存储中，然后将其添加到存储桶的索引中，GET 和其他请求使用该索引来获取存储的数据和元数据以进行检索。因此，在您的情况下，如果同步被中止，那么它的 AWS 有责任删除该文件并且它不会被索引，

对于分段上传，在您发送分段上传的最后一部分之前，aws 也不会列出完整的文件，您也可以发送中止请求以中止分段上传，在这种情况下，aws 将停止向您收费您上传的部分文件。

有关分段上传的更多信息，请参阅此文档：

S3 multipart upload

【讨论】：