在 S3 存储桶之间移动数据时丢失数据答案

【问题标题】：Data loss when moving the data between S3 buckets在 S3 存储桶之间移动数据时丢失数据
【发布时间】：2019-02-13 13:13:21
【问题描述】：

当数据移动发生在 s3 存储桶之间时，我们是否会丢失数据。

S3 landing bucket(zip files data) -> S3 staging bucket(zip files data)

在上述流程中，我们是否在将数据从着陆桶移动到 s3 暂存桶时丢失了数据？

注意：数据在 zip 文件中。这里我只说数据丢失。

【问题讨论】：

如何在存储桶之间复制数据？
我们正在使用 lambda
您的 Lambda 函数是否向 Amazon S3 发出 CopyObject 命令？如果是这样，则复制或不复制数据。如果它被复制，那么目标文件是完整的。仅当您发出 DeleteObject 命令时，才会从源存储桶中删除文件。 Amazon S3 中的数据被复制到三个不同的数据中心。它可能比您自己的存储更可靠。

【解决方案1】：

大多数数据移动应用程序都处理可靠传输。它的工作原理如下。

复制 --> 验证 --> 删除

它从源复制到目标，验证目标是否作为源完好无损。然后删除源文件。

请确认软件的实现是否处理可靠传输。

如果您使用 aws s3 cli，则可以。

希望对你有帮助。

【讨论】：