适用于 AWS EC-2 的 Spark AMI答案

【问题标题】：Spark AMI for AWS EC-2适用于 AWS EC-2 的 Spark AMI
【发布时间】：2015-04-15 22:59:06
【问题描述】：

在使用提供的脚本在 Amazon 云上启动 Spark 时，是否可以使用特定操作系统（例如 Ubuntu）指定 AWS AMI？

EC-2 脚本启动的默认 AMI 操作系统是什么？它是否有资格参加 AWS 的“免费套餐”计划？

【问题讨论】：

您能否更具体地了解您所指的脚本？它们是亚马逊提供的吗？你开发的？我们可以看看这些脚本吗？
@SébastienStormacq 我的意思是标准 Apache Spark EC-2 脚本随 Spark 发行版一起提供
我使用他们的默认 AMI 设置了一个 EC2 集群，它使用 x86_64 x86_64 x86_64 GNU/Linux 作为默认操作系统。虽然不确定免费层的事情

标签： ubuntu amazon-web-services amazon-ec2 apache-spark amazon-ami

【解决方案1】：

默认情况下，脚本 (spark_ec2.py) 从 https://github.com/mesos/spark-ec2/tree/branch-1.3/ami-list 获取 AMI 列表。您可以通过使用您的偏好创建一个分支并使用--spark-ec2-git-repo 和--spark-ec2-git-branch 选择它来覆盖它。

【讨论】：

但是有没有 ubuntu AMI 的 spark 可用？现有的 amazon linux 有较旧的东西。仅举一个例子：没有 php5.4+ 的可用性
您可以使用您选择的 AMI 进行尝试。我 99% 确定 Spark AMI 不包含 Spark。我认为它们只是作为一个已知的基本 Linux。（我没有尝试覆盖默认的 AMI。）如果这不起作用，您可以在您拥有的任何 EC2 节点上以独立或 YARN 模式运行 Spark。我已经尝试了这两个选项并且它们工作正常。另一种选择是使用 Spark AMI，但升级您需要的一些软件包。
不能简单的升级包：amazon linux除了有限的套装外不支持打包。我查看了 spark ec2 脚本：它们不包含在 AMI 之上构建 spark 的代码。那将是我的第一选择。相反，似乎 AMI 的 DO 在其中包含火花。
我仍然几乎完全确定 AMI 不包含 Spark。 AMI 列表一年多没有变化，但如果您运行全新的 Spark 1.2.1 spark_ec2.py，您将获得一个使用 Spark 1.2.1 的集群。
不知道这是否有帮助，但这里有一个拉取请求，指出通过spark-ec2 访问 ubuntu AMI 仍在建设中：github.com/amplab/spark-ec2/pull/49