在创建集群时，如何在 Amazon 的 EMR 核心/工作节点/实例上安装 Spark？答案

【问题标题】：How do I get Spark installed on Amazon's EMR core/worker nodes/instances while creating the cluster?在创建集群时，如何在 Amazon 的 EMR 核心/工作节点/实例上安装 Spark？
【发布时间】：2016-07-18 06:21:01
【问题描述】：

我正在尝试使用 Spark (1.6.0) 和 Hadoop（发行版：Amazon 2.7.1）应用程序启动 EMR 集群。发布标签是 emr-4.4.0。集群根据需要进行设置，但它不会将 Spark 主实例（在主实例中）作为守护进程运行，而且我也找不到在工作（核心）实例中安装 Spark（ 下的 Spark 目录/usr/lib/ 只有 lib 和 yarn 目录）。

我想在集群设置完成后立即运行 Spark 主节点和工作节点。（即，worker 自动连接到 master 并成为 Spark 集群的一部分）。

我如何实现这一目标？还是我错过了什么？

提前致谢！

【问题讨论】：

标签： amazon-web-services apache-spark amazon cluster-computing emr

【解决方案1】：

EMR 上的 Spark 以 YARN 模式安装。这就是您无法看到独立的主从守护进程的原因。 http://spark.apache.org/docs/latest/running-on-yarn.html

独立 Spark master 和 worker 守护进程仅在 spark-standalone 模式下生成。 http://spark.apache.org/docs/latest/spark-standalone.html

现在，如果您确实想在 EMR 上运行 spark master 和 worker，您可以使用

/usr/lib/spark/sbin/start-master.sh
/usr/lib/spark/sbin/start-slave.sh

并进行相应的配置。

【讨论】：