EMR 集群上未安装 Spark

Question

我已经在 EMR 集群上使用 Spark 几个星期了，没有任何问题 - 设置是使用 AMI 3.8.0 和 Spark 1.3.1，我将“-x”作为参数传递给 Spark（没有这个它似乎没有安装）。

我想升级到最新版本的 Spark，今天使用 emr-4.1.0 AMI 启动了一个集群，其中包含 Spark 1.5.0。当集群启动时，它声称已成功安装 Spark（至少在 AWS 上的集群管理页面上）但是当我 ssh 进入“hadoop@[IP 地址]”时，我在“hadoop”目录中看不到任何内容，其中在以前的版本中安装了 Spark（我也尝试过使用其他应用程序并得到相同的结果，并尝试以 ec2-user 的身份登录，但 Spark 也没有安装在那里）。当我使用 emr-4.1.0 AMI 启动集群时，我没有将“-x”参数传递给 Spark 的选项，我想知道是否缺少一些东西。

有谁知道我在这里做错了什么？

非常感谢。

Answer 1

这实际上已经解决了，相当简单。

在之前的 AMI 中，所有到 Spark 和其他应用程序的路径都是 hadoop 文件夹中可用的软链接。在较新的 AMI 中，这些已被删除，但仍会安装应用程序，并且可以通过命令行中的“spark-shell”（例如）访问。