如何在具有集群模式和独立模式的 spark-submit 中将特定节点配置为驱动程序节点

Question

我在集群部署模式和独立模式下的 spark-submit 遇到问题：

• 如何在spark集群中指定一个节点为驱动节点

  在我的例子中，驱动节点是由 spark 动态分配的

• 如何从本地自动分发应用程序

  在我的情况下，我必须将应用程序的 jar 部署到每个节点，因为我不知道哪个节点将是驱动程序节点。

PS：我的提交命令是： spark-submit --master spark://master_ip:6066 --class appMainClass --deploy-mode cluster file:///tmp/spark_app/sparkrun

Answer 1

--deploy-mode 标志确定作业是以cluster 还是client 模式提交。

在集群模式下，所有节点都将充当执行者。一个节点将提交JAR，然后您可以使用 Web UI 跟踪执行情况。该特定节点也将充当执行者。

在客户端模式下，调用 spark-submit 的节点将充当驱动程序。请注意，此节点不会执行 DAG，因为它被指定为集群的驱动程序。所有其他节点将成为执行者。同样，Web UI 将有助于查看作业的执行情况和其他有用的信息，如 RDD 分区、缓存的 RDD 大小等。