将许多 S3 存储桶移至 Glacier

Question

我们有大量 S3 存储桶，并且正在清理中。我们将 Glacier 确定为存档数据的好方法。计划是存储这些存储桶的内容，然后将其删除。 这将是一次性操作，我们不需要自动化操作。

我知道：

• 如果有一天我们想要恢复某个存储桶名称，它可能不再可用
• 每个文件有大约 40kb 的索引开销，这使得它对于小文件来说不是那么经济高效的解决方案，并且更好地使用 不频繁访问 存储类或压缩内容

我试了一下并创建了一个保险库。但我无法运行 aws glacier 命令。我收到一些显然与 Python 库有关的 SSL 错误，无论我是在我的 Mac 上还是从某个专用容器中运行它。

另外，直接使用 Glacier API 似乎很痛苦（并保留正确的文件信息），而且通过专用存储桶使用它更简单。

那怎么办？ AWS 中是否有我想做的事情？或者有什么建议不要太挑剔？你会推荐什么工具？

Answer 1

哇，这么多问题！

Amazon Glacier 有两种使用方式：

• 在 Amazon S3 存储桶上创建Lifecycle Policy，以将数据存档到 Glacier。对象仍将显示在 S3 中，包括它们的安全性、大小、元数据等。但是，它们的内容存储在 Glacier 中。通过此方法存储在 Glacier 中的数据必须恢复回 S3 才能访问内容。
• 通过 AWS API 将数据直接发送到 Amazon Glacier。以这种方式发送的数据必须通过 API 恢复。

Amazon Glacier 对存储卷收费，加上每个请求。在 Glacier 中存储许多小文件效率较低。相反，建议创建制作更少、更大文件的存档（例如 zip 文件）。这会使检索特定文件变得更加困难。

如果您要直接使用 Glacier，使用实用程序（例如 Cloudberry Backup）会要容易得多，但是这些实用程序旨在从计算机备份到 Glacier。他们可能不会将 S3 备份到 Glacier。

如果数据已经在 Amazon S3 中，最简单的选择是创建生命周期策略。然后您可以使用 S3 管理控制台和标准 S3 工具来访问和恢复数据。

Answer 2

使用 S3 归档存储桶完成了这项工作。 以下是我的做法：

首先，我创建了一个名为 mycompany-archive 的 S3 存储桶，其生命周期规则将 Storage 类 转变为 Glacier 文件创建后 1 天。

然后，（在我的 Mac 上安装了 aws 工具）我运行了以下 aws 命令来获取存储桶列表：aws s3 ls

然后我将输出粘贴到可以进行 regexp 替换的编辑器中，然后我做了以下操作：

将^\S*\s\S*\s(.*)$ 替换为aws s3 cp --recursive s3://$1 s3://mycompany-archive/$1 && \

它给了我一个大命令，我从中删除了末尾的&& \，以及与我不想复制的存储桶相对应的行（主要是 mycompany-archive 必须被从那里移除），我有我需要做的转移。

该命令可以直接执行，但我更喜欢使用 screen 实用程序运行此类命令，以确保在我意外关闭会话时进程不会停止。
要启动它，我运行screen，启动命令，然后按CTRL+A 然后按D 将其分离。然后我可以通过运行screen -r 回到它。

最后，在 MacOS 下，我运行了cafeinate 以确保计算机在结束之前不会休眠。要运行它，发出ps|grep aws 来定位命令的进程ID。然后caffeinate -w 31299（进程 ID）确保我的 Mac 在进程完成之前不允许睡眠。

它完成了这项工作（嗯，它仍在运行），我现在有一个存储桶，其中包含每个存档存储桶的文件夹。下一步将是删除不需要的 S3 存储桶。
当然，这种方式可以在很多方面进行改进，主要是将所有内容都变成一个容错的可重放脚本。在这种情况下，我必须务实，考虑如何改进它需要更多的时间，几乎没有收获。