【发布时间】：2021-04-08 06:39:15
【问题描述】：
我有一个 Python 脚本，它应该创建一个相当长的列表，目前我使用的 VM 有一个 8 核处理器和 30GB RAM，但这还不够，因为机器在生成列表之前内存不足. 我想知道，是否可以说 5 个类似的虚拟机并让它们在同一个脚本上工作并将它们的资源集中在一起？我正在考虑使用 MIG，但我想知道我会在哪里存储脚本以及它们如何能够在它们之间进行通信？
【问题讨论】：
-
有一些选项可以启动内存量大于 30G 的服务器，您是否考虑过这条路线？
-
您没有提到问题的性质是否允许它可以并行化。您是否正在寻找一种解决方案，现在您在一个 VM 上处理 Y 个输入项，并希望在 5 X 个 VM 上处理相同的工作，每个 VM 处理 Y/5 个项？
-
分布式计算在多台服务器上实现同样的事情是一个非常复杂的操作。最好考虑并行计算较小部分的计算（每个分布式计算模式都会这样做，最后进行协调）。
-
您的问题需要更多详细信息。您还没有显示脚本。您还没有包含有关脚本是否支持系统集群（例如 Hadoop）的信息。
-
@lukas 会调查一下，谢谢！
标签： python google-cloud-platform virtual-machine google-compute-engine