将所有 S3 资产批量传输到 Google Cloud

【问题标题】：Bulk transfer of all S3 assets to Google Cloud将所有 S3 资产批量传输到 Google Cloud
【发布时间】：2015-09-13 21:57:03
【问题描述】：

出于多种原因，我希望将所有 S3 资产迁移到 Google Cloud。但是，我有大约 25 个存储桶，每个存储桶中有数千个文件。我知道 Google Storage Transfer 工具 - https://cloud.google.com/storage/transfer/getting-started - 但它一次只适用于存储桶。有什么可以同时做的吗？

【问题讨论】：

标签： amazon-s3 google-cloud-storage

【解决方案1】：

Google Cloud Storage Transfer 服务仍然是您的最佳选择，尤其是在您的存储桶非常非常大的情况下。

如果您的存储桶不够大，无法设置它，您可以使用带有一点脚本的 gsutil 命令行工具来完成此操作：

for bucket in bucket1 bucket2 bucket3 bucket4 etc; do
  gsutil -m cp -r s3://$bucket/* gs://$bucket
done

【讨论】：

哦，我完全同意，我只是想为我的 25 个左右的桶做一个大容量的方法。