如何估计 Hortonworks Hadoop 集群上的 spark executor 数量？

Question

我设置了一个 Hortonworks Hadoop 集群：

• Hortonworks 版本是 2.3.2。
• 1 个 NameNode，1 个辅助 NameNode，10 个 DataNode
• Spark 1.4.1 并部署在所有数据节点上。
• YARN 已安装。

当我运行一个 spark 程序时，执行器只在 4 个节点上运行，而不是整个数据节点。

如何估算此类 Hadoop 集群上的 spark executor 数量？

Answer 1

你请求的执行器数量默认为4个。如果你想请求更多，你必须在命令行中使用--num-executors = x参数调用或在配置中设置spark.executors.instances。更多细节在这里： https://spark.apache.org/docs/latest/running-on-yarn.html

因为 Spark 是在 Hortonworks Hadoop 上使用 YARN 运行的，所以每个 Spark 客户端都应该部署 YARN/节点管理器、YARN 客户端。否则，spark 客户端将不会被调度。

实际的执行者与节点管理器的最小数量和执行者数量有关。