从 S3 到 GCS 的定期传输

Question

我在 S3 上有一个存储桶，我想备份到 GCS，甚至可能是 Nearline。根据我的研究，我似乎可以使用在 GCE 上运行的 gsutil 来执行此操作。我不确定的是如何使这成为经常性转移。也许每月一次，它会检查 S3 存储桶并将任何新内容移至 GCS。使用 gsutil 可以做到这一点吗？

谢谢！

Answer 1

如果你正在做备份，我建议使用gsutil rsync:

gsutil -m rsync s3://s3-bucket gs://gs-bucket

与gsutil cp 命令不同，这只会复制差异。如果要在从源中删除项目时从目标中删除项目，可以使用-d 标志：

gsutil -m rsync -d s3://s3-bucket gs://gs-bucket

更多信息请访问gsutil rsync docs。

设置一个 cron 作业以每天/每周/每月运行上述任务之一应该可以处理重复出现的问题。

或者你可以考虑Online Cloud Import;这仍处于测试阶段，但它允许您在不使用 gsutil 的情况下执行上述操作。