亚马逊相当于谷歌存储传输服务答案

【问题标题】：Amazon equivalent of Google Storage Transfer Service亚马逊相当于谷歌存储传输服务
【发布时间】：2018-07-02 19:07:46
【问题描述】：

我在 GCP 中有一个包含数百万个 3kb 文件的存储桶，我想将它们复制到 S3 存储桶中。我知道 google 有一个超快速的传输服务，但是我无法使用该解决方案将数据推送回 S3。

由于对象的数量，运行简单的gsutil -m rsync gs://mybucket s3://mybucket 可能无法完成这项工作，因为传输所有内容至少需要一周时间。

还有比这更快的解决方案吗？

【问题讨论】：

你在本地运行 gsutil 吗？如果您从 GCE 或 EC2 运行该作业，它可能会运行得更快。或者，值得尝试将文件捆绑到 Google 端的 tarball 中、将其上传到 AWS 并在那里解包所需的时间。还可以考虑在不同的机器上并行运行许多 gsutils，每个机器都有不同的前缀。
所以我一直在 GCP 上的增强型实例上运行 gsutil。我在 EC2 上试过，结果是一样的。

【解决方案1】：

在 AWS 方面，您可能想看看S3 Transfer Acceleration 是否有帮助。启用它和命名它有特定的要求。您可能希望确保存储桶位于靠近数据当前存储位置的位置，但这可能有助于加快速度。

【讨论】：

【解决方案2】：

我们遇到了将小文件推送到 S3 的相同问题。压缩和存储它做同样的事情。这是为您的帐户设置的限制。

如文档中所述，您需要在发送突发请求之前打开支持票证以增加限制。

这里不是文件的大小或所有对象的大小。 文件数量是问题所在。

希望对你有帮助。

【讨论】：

【解决方案3】：

就我个人而言，我认为您将遇到的主要问题与其说是 Amazon 的 S3 服务的入口率，不如说是来自 Google 的网络出口率网络。即使您启用了 S3 Transfer Acceleration 服务，您仍然会受到 Google 网络的出站速度的限制。

您可以设置其他服务，这些服务可能有助于加快流程。也许查看Interconnect solutions 之一，它允许您在网络之间建立快速链接。最简单的设置解决方案是Cloud VPN 解决方案，它可以让您在 AWS 和 Google 网络之间设置快速上行链路（每个隧道 1.5-3 Gbps）。

否则，从您的数据需求来看，传输 3,000 GB 的数据量并不可怕，并且设置云服务器以在一周的时间内传输数据也不错。您可能会发现，当您设置另一个解决方案时，首先启动一台机器并让它运行一周可能会更容易。

【讨论】：