自动同步两个 Amazon S3 存储桶，除了 s3cmd？答案

【问题标题】：Automatically sync two Amazon S3 buckets, besides s3cmd?自动同步两个 Amazon S3 存储桶，除了 s3cmd？
【发布时间】：2011-09-19 14:13:15
【问题描述】：

除了使用 s3cmd 之外，还有另一种自动同步两个 Amazon S3 存储桶的方法吗？也许亚马逊有这个选项？环境是linux，每天我都想将新文件和删除的文件同步到另一个桶。我讨厌把所有的鸡蛋都放在一个篮子里。

【问题讨论】：

为什么不想使用 s3cmd？
镜像存储桶的一个很好的用例是跨区域故障转移或灾难恢复。例如，Netflix 就是这样做的。您可以跨区域保持存储桶同步，以便在发生中断时准备好热副本。
@DerrickPetzold 另一个很好的用例（这正是我在这个页面上发现自己的原因）是我们的运营已经足够成熟，现在重建我们的 [内部] 演示环境既可行又可取并包含生产数据库的副本，如果没有存储在 S3 中的生产 blob 副本，这将毫无用处。

标签： linux amazon-s3 s3cmd

【解决方案1】：

您可以使用标准 Amazon CLI 进行同步。您只需要执行以下操作：

aws s3 sync s3://bucket1/folder1 s3://bucket2/folder2

http://aws.amazon.com/cli/

【讨论】：

【解决方案2】：

S3 桶！= 篮子

来自他们的site：

数据的持久性和可靠性

Amazon S3 提供了一种高度耐用的存储基础设施，专为任务关键型数据和主要数据存储而设计。对象冗余存储在 Amazon S3 区域中跨多个设施的多个设备上。为帮助确保持久性，Amazon S3 PUT 和 COPY 操作在返回 SUCCESS 之前将您的数据同步存储在多个设施中。存储后，Amazon S3 通过快速检测和修复任何丢失的冗余来维持对象的持久性。 Amazon S3 还使用校验和定期验证存储的数据的完整性。如果检测到损坏，则使用冗余数据对其进行修复。此外，Amazon S3 会计算所有网络流量的校验和，以在存储或检索数据时检测数据包的损坏情况。

Amazon S3 的标准存储是：

以 Amazon S3 服务水平协议为后盾。

旨在在给定年份提供 99.999999999% 的持久性和 99.99% 的对象可用性。

旨在承受两个设施中的数据同时丢失。

Amazon S3 通过版本控制提供进一步的保护。您可以使用版本控制来保留、检索和恢复存储在您的 Amazon S3 存储桶中的每个对象的每个版本。这使您可以轻松地从意外的用户操作和应用程序故障中恢复。默认情况下，请求将检索最近编写的版本。可以通过在请求中指定版本来检索对象的旧版本。存储费率适用于存储的每个版本。

这非常可靠。

【讨论】：

【解决方案3】：

我正在寻找类似的东西，有几个选择：

商业应用如：s3RSync。此外，S3 的CloudBerry 提供了适用于 Windows 的 Powershell 扩展，可用于编写脚本，但我知道您使用的是 *nix。
AWS API +（最喜欢的语言）+ Cron。（听我说）。一个在 AWS 库中没有经验的精明的人需要很短的时间来构建一些东西来复制和比较文件（使用 s3 键的 ETag 功能）。只需提供源/目标存储桶、凭据、遍历密钥并在 AWS 中发出本机“复制”命令。我用过Java。如果您使用 Python 和 Cron，您可以轻松完成一个有用的工具。

我仍在寻找已经构建的开源或免费的东西。但是＃2确实不是一项非常困难的任务。

编辑：我回到这篇文章并意识到现在Attunity CloudBeam 也是许多人的商业解决方案。

【讨论】：

【解决方案4】：

现在可以通过 AWS 控制台在两个不同区域的存储桶之间复制对象。

AWS 博客上的 official announcement 解释了该功能。

【讨论】：

这很好，只要你不需要自动化，不幸的是 OP 指定同步需要自动化。
@ChrisTonkinson 桶内容的跨区域复制是自动化的。公告称：“一旦启用，上传到特定 S3 存储桶的每个对象都会自动复制到位于不同 AWS 区域的指定目标存储桶。”