未能在谷歌云上部署 hadoop 集群答案

【问题标题】：failing to deploy hadoop cluster on google cloud未能在谷歌云上部署 hadoop 集群
【发布时间】：2015-07-12 10:53:49
【问题描述】：

我正在尝试使用google cloud 部署一些集群。所以，正如文档建议的那样，我运行这个：

./bdutil --bucket mybucket -n $number -P myproject --zone us-central1-a deploy

当我将 $number 设为 0 或 1 时，它会正确部署（分别为 1 个主服务器或 1 个主服务器 + 1 个工作人员）。但是，当我尝试在 $number 设置为 5 的情况下运行相同的命令时，我会继续收到这种消息：

*-m' not yet sshable (1); sleeping 10.
*-w-0' not yet sshable (1); sleeping 10.
*-w-1' not yet sshable (1); sleeping 10.
*-w-2' not yet sshable (1); sleeping 10....

其中star代表实例的前缀。

我该如何处理？

【问题讨论】：

你所有的VM instances都启动了吗？此外，请检查您的project resource usage and quotas - 根据您使用的机器类型以及您在同一区域/区域的项目中已经运行的其他内容，您可能会遇到这些限制，因此虚拟机无法启动。您也可以申请增加资源配额——参见资源配额页面上的链接。
@MishaBrukman 是的，我所有的实例都在运行。顺便说一句，确实当我想使用click to deploy 安装hadoop 时，我被告知我的Quota 是有限的。我相信我将我的帐户升级为付费帐户，但从Quota 页面我被引导到一个谷歌公式，告诉我我无法升级，因为我使用的是免费期优惠。是不是很奇怪？
如果您的所有实例都在运行，但您无法 SSH，请尝试通过 [SSH] 按钮从开发者控制台进行 SSH。
在相关说明中，请参阅this answer，了解免费试用期间的 GCE 限制。如果您添加了计费信息，则只有在您用完 300 美元的免费信用试用期后才会开始收费，然后限制将被取消，您可以申请进一步提高资源限制。如果您想取消免费试用并立即开始付款，并且在开发者控制台中不知道如何操作，请联系Google Cloud billing support。
@MishaBrukman我可以在任何创建的实例中使用 ssh

标签： hadoop cluster-computing google-cloud-storage google-compute-engine

【解决方案1】：

根据带有问题海报的单独电子邮件线程，我们将根本问题追溯到 bdutil 需要设置 gcloud compute ssh 才能在没有密码的情况下工作。 gcloud compute documentation 更深入地解释了此设置。

一般来说，虽然这意味着您的新 GCE 专用私钥文件在您的本地计算机上未加密，但您的 SSH 会话本身仍然是安全的。

只要您的本地计算机同时具有 GCE SSH 访问权限以及使用 gcloud compute 命令的“编写者”权限，您就需要确保本地计算机的安全，以防止意外用户能够覆盖您的 GCE带有新 SSH 密钥的元数据，无论原始生成的私钥文件是否已加密。

【讨论】：