如何快速访问云中的 TB 级数据？答案

【问题标题】：How to access terabytes of data sitting in cloud quickly?如何快速访问云中的 TB 级数据？
【发布时间】：2019-07-20 20:40:40
【问题描述】：

我们在 Google 硬盘中存储了数 TB 的数据。最初，因为我们使用的是谷歌云虚拟机，所以我们在云中进行开发工作并且能够访问数据。

现在，我们购买了运行我们的应用程序的自己的服务器，并将数据带到我们的应用程序可以访问的本地磁盘。事情是使用scp 在网络上传输数据，尤其是 TB 非常慢。任何人都可以提出解决此问题的方法吗？

我在想的是，没有办法让我们继续运行脚本等待谷歌云实例上的请求（它通过 HTTP 发送请求的数据！），我们可以从 local_server 请求数据一次！我知道这再次发生在网络上，但是，我认为我们可以通过这种方法进行扩展，但我可能错了！这是一种客户端 - 服务器（1：1）布局，用于构建前端和后端之间的交互！有什么建议吗？

会不会很慢？比使用 SCP 获取数据要慢！

【问题讨论】：

在您遇到令人不快的意外之前，请记住，从 GCP 导出每 TB 数据的成本约为 120 美元，除非您有其他安排可以避免标准出口定价。如果对相关数据可行，积极压缩将节省成本和时间。
啊！这太贵了！没有意识到这一点。没有办法直接从 GCP 购买硬盘。我的意思是公司在云上存储了 PB 的数据，应该有一个选项吗？如果我错了，请纠正我。
我认为您将不得不承担将数据从云端传输到本地的一次性成本。我怀疑谷歌会在你从他们手中夺走业务时给予折扣。此外，关于您提到的方法，您也可以扩展 SCP 方法。有更多的机器在不同的文件上做 SCP，还是我遗漏了什么？
您是尝试从虚拟机实例磁盘还是从 Google 云存储服务（如 Data Store 或云 SQL）导出数据？
@rsalinas，来自虚拟机！

标签： database http amazon-s3 python-requests gcloud

【解决方案1】：

您可以下载完整的 VM 磁盘并将 int 挂载到您的服务器上，或者下载磁盘然后复制数据并删除 VM 磁盘。对于任何情况，您都应该遵循以下步骤：

Create a snapshot 您的 VM 将拥有所有数据。
Build 和 export 将 VM 映像发送到您的服务器。
根据GCE requirements在你的服务器上运行镜像。

这将花费更少的时间，因为您是在本地进行并避免网络流量。

【讨论】：