谷歌云在虚拟机之间共享数据答案

【问题标题】：Google cloud share data between VM's谷歌云在虚拟机之间共享数据
【发布时间】：2017-11-27 08:56:40
【问题描述】：

我希望在带有 GPU 的 Google Compute Engine 上创建一个虚拟机，以执行某些任务。

现在的问题是要从本地网络上传到虚拟机的数据非常庞大，而且我受到缓慢且不可靠的互联网的严重限制。我知道使用 SCP 在 unix 机器之间传输文件，但即使这样也需要几个小时才能完成，这意味着我的 GPU 的在线（最昂贵的组件）将处于空闲状态，而我将无需付费。

我曾想过先将文件传输到 VM，然后添加 GPU，但在这种情况下我无法编辑 VM 以添加 GPU。

因此，我需要两种可能的解决方案的帮助。

我是否可以向一个 VM 添加永久性磁盘、传输数据、生成新 VM 并将磁盘转移到新 VM？如果是，那怎么办？

或

是否可以编辑现有 VM 以在创建后添加 GPU 实例？如果是，那怎么办？

我们将不胜感激任何形式的帮助。谢谢！

【问题讨论】：

【解决方案1】：

以下是一些建议：

将您的数据上传到Google Cloud Storage 存储桶，然后在需要时将数据从那里拉到虚拟机（与将数据从本地计算机复制到虚拟机相比，这将相对较快）。 GCS 还提供了FUSE tool 用于在您的 VM 上挂载 GCS 存储桶，然后能够根据需要读取/写入数据。 GCS 存储桶是此列表中最灵活的选项。
您可以创建一个永久性磁盘，将数据上传一次。然后在需要时根据需要将其附加到基于 GPU 的 VM。您可以让多个虚拟机同时以只读模式连接同一个磁盘。
您可以对永久磁盘进行快照，并在需要时将快照还原到新的永久磁盘。这对于备份比您的主要用例更有用。
考虑对数据进行分块和/或分片，以便在 GPU 上并行运行工作负载时可以通过管道从远程服务器（如 GCS）提取数据。

【讨论】：

【解决方案2】：

如果它是批量工作负载并且需要不到 24 小时才能完成，听起来，您应该使用preemptible 机器来大幅降低成本。

技术细节在这里：

也许很少有highcpu 与最新的Intel Skylake CPU 代可以为您工作？我不认为你可以抢占GPU 机器。

我的 2 美分。

【讨论】：

我的计算特别需要 GPU，这对于抢占式实例不可用。在任何情况下，GPU 定价都是额外的，与 VM 无关，因此不会有太大的不同。不过谢谢。我会在以后的项目中记住这一点。