使用自定义 Windows AMI 在 EC2 上引发长时间部署答案

【问题标题】：Spark long deploying time on EC2 with custom Windows AMI使用自定义 Windows AMI 在 EC2 上引发长时间部署
【发布时间】：2015-03-07 16:14:29
【问题描述】：

我正在尝试在 Amazon EC2 基础架构上运行带有一些 Windows 实例的 Spark 集群，但我面临一些部署时间非常长的问题。

我的项目需要在 Windows 环境中运行，因此我通过 Spark 提供的 -a 标志来使用替代 AMI spark-ec2 脚本。当我运行脚本时，进程一直卡在等待实例启动并运行，并显示以下消息：

Waiting for all instances in cluster to enter 'ssh-ready' state.............

当我使用默认 AMI 时，集群会在等待几分钟后正常启动。

我已经搜索过其他用户的类似问题，到目前为止，我只能找到this statement 关于自定义 AMI-s 的长时间部署（请参阅 Josh Rosen 的回答）。

我正在使用 Spark 的 1.2.0 版本。启动集群的调用如下所示：

./spark-ec2 -k MyKeyPair 
            -i MyKeyPair.pem 
            -s 10 
            -a ami-905fe9e7
            --instance-type=t1.micro 
            --region=eu-west-1
            --spark-version=1.2.0
            launch MyCluster

上述AMI指的是：

Microsoft Windows Server 2012 R2 Base - ami-905fe9e7
Desc: Microsoft Windows 2012 R2 Standard edition with 64-bit architecture. [English]

任何有关此问题的帮助或赞扬将不胜感激。

【问题讨论】：

对于它的价值，我看到使用默认 (Linux) AMI 的“等待 ssh 就绪”时间也非常长。不知道怎么回事。
我为密钥文件指定了错误的路径。显然，该脚本将来自 SSH 的 any 错误视为“集群可能尚未启动”。您可以手动 SSH 连接到机器吗？
我已经回答了这个问题。没有看到 Spark 的 spark-ec2 脚本在 Windows 环境中不起作用是我的错。无论如何，感谢您的提示，错误很容易从这样的简单错误中创建。
@DanielDarabos - 我们将其作为SPARK-5473 的一部分进行了修复，这样此类错误就会冒泡给用户。应该适用于 Spark 1.2.2。

标签： ssh amazon-ec2 apache-spark

【解决方案1】：

我想我已经找到了问题所在。 Spark 似乎不支持使用默认脚本在 Windows 环境中创建集群。我认为仍然可以通过一些手动调整来创建集群，但这超出了我有限的知识范围。 Here 是解释它的官方帖子。

相反，作为临时解决方案，我正在考虑使用 Microsoft Azure 集群，该集群刚刚发布了一个实验工具，可以使用 Apache Hadoop 的变体（Spark ) 在他们的 HDinsight 集群上。 Here 是更好地解释它的文章。

【讨论】：