【发布时间】:2016-07-20 15:49:02
【问题描述】:
我们需要将 2TB 的图像从 Rackspace 服务器移动到 Amazon S3 存储桶,以便与我们在项目中使用的其他 Amazon Web Services (AWS) 进行整合。是否有任何 AWS 服务可用于迁移这堆文件。我对第三方 CLOUD 迁移服务不感兴趣。请帮忙。
【问题讨论】:
标签: amazon-web-services amazon-s3
我们需要将 2TB 的图像从 Rackspace 服务器移动到 Amazon S3 存储桶,以便与我们在项目中使用的其他 Amazon Web Services (AWS) 进行整合。是否有任何 AWS 服务可用于迁移这堆文件。我对第三方 CLOUD 迁移服务不感兴趣。请帮忙。
【问题讨论】:
标签: amazon-web-services amazon-s3
我会为您的用例看到 3 种不同的服务
您可以使用去年四月宣布的transfer acceleration。我无法测试它(我们去年 11 月迁移了 1TB 的 oracle 转储文件)
如前所述
它通过在距离您的客户端最近的 AWS 边缘站点和您的 Amazon S3 存储桶之间运行的高度优化的网桥传输 HTTP 和 HTTPS 流量来工作。无需管理网关服务器,无需打开防火墙,无需集成特殊协议或客户端,也无需支付预付费用。您只需更改应用程序用于传输数据的 S3 端点,就会自动应用加速。长距离移动 GB 或 TB 的数据时,可以节省数小时(甚至数天)的传输时间
好处是您无需更改基础架构中的任何内容即可使其正常工作。
另一个好处是,如果 AWS 发现 TA 不会提高你的上传率,它不会向你收费,来自pricing page
每次您使用 Transfer Acceleration 上传对象时,我们都会检查 Transfer Acceleration 是否可能比常规的 Amazon S3 传输更快。如果我们确定 Transfer Acceleration 不太可能比将同一对象传输到同一目标 AWS 区域的常规 Amazon S3 传输更快,我们不会就该传输使用 Transfer Acceleration 收费,并且可能会绕过 Transfer Acceleration 系统上传。
根据您的主机服务器所在的位置,您可以启用direct connect
AWS Direct Connect 可让您轻松建立从您的场所到 AWS 的专用网络连接。使用 AWS Direct Connect,您可以在 AWS 和您的数据中心、办公室或托管环境之间建立私有连接,这在许多情况下可以降低您的网络成本、增加带宽吞吐量,并提供比基于 Internet 的连接更一致的网络体验。
您需要检查您的服务器所在的数据中心是否在列表中或附近,如果从您的服务器连接到direct connect location 的时间过长,将没有任何好处
如果您在本地有文件副本,或者您可以插入snowball device 除非您的服务器连接速度确实很慢,否则我不建议仅将 2TB 的数据用于 2TB:使用 S3 Transfer Acceleration 将 2TB 数据从退格上传到 S3 会更快,而且很可能比来回运送雪球更具成本效益在 AWS 和机架空间之间。如果您有 PB 级的数据或确实运行缓慢的连接,通常会使用雪球
【讨论】: