在 Google Compute Engine 上设置和运行网格作业的工具？答案

【问题标题】：Tools for setting up and running a grid job on Google Compute Engine?在 Google Compute Engine 上设置和运行网格作业的工具？
【发布时间】：2015-02-25 07:37:25
【问题描述】：

我需要在 Google Compute Engine 上设置和运行“令人尴尬”的并行作业。我正在寻找工具来促进这一点。

在 EC2 上，我使用 MIT 的 Starcluster 来设置集群，然后将作业提交给 SGE。

是否有适用于 Google Compute Engine 的类似工具？

如果没有，我可能会手动设置一个 Condor 集群来完成这些工作。嗡嗡声。

【问题讨论】：

标签： google-compute-engine sungridengine condor starcluster embarrassingly-parallel

【解决方案1】：

我没有找到任何东西。 Starcluster 目前获得 GCE 支持的途径是等待官方对 GCE 的 boto 支持。这一切可能需要一段时间，所以我继续编写了一些 python 代码来启动和终止一个基本集群。

我分享了它here on github。

我希望其他人觉得它有用，至少作为示例代码。

【讨论】：

【解决方案2】：

Elasticluster 支持 Google Compute Engine。它与 Starcluster 非常相似，使用 boto、GCE、Openstack 在 AWS 上工作。 https://github.com/gc3-uzh-ch/elasticluster

【讨论】：

这个问题是在 2013 年 6 月提出的。他可能在 2 年后发现了他的问题。
@greg_diesel 不过，其他人可能仍然会发现答案很有用。 :)

【解决方案3】：

Starcluster 真的很酷。不幸的是，不支持 GCE，我目前熟悉任何类似的系统。

我很乐意看到这种情况发生，如果你有什么工作，请分享！

【讨论】：

我会检查一下starcluster 邮件列表，看看是否有任何事情已经开始。无论哪种方式，我都会启动一组基本功能（图像、配置文件、启动、终止）并将其放在 github 上。
我分享了 python 代码来启动和终止一个基本的 condor 集群here，应@joe 的要求