火花大师中的火花提交本地模式

Question

我对 spark-submit 有疑问，我没有得到明确的解决方案。在本地机器上运行 spark-submit，master 为 local[] 将在本地模式下运行它是我很清楚的，但是如果我在网关节点或主节点本身。我的应用程序是消耗整个集群还是仍在该特定机器上以本地模式运行。 谢谢

Answer 1

如果我在网关节点或主节点本身中运行与 local[] 相同的主节点会怎样。我的应用程序是消耗整个集群还是仍在该特定机器上以本地模式运行。

回答： 该特定机器（网关节点或主节点）中的本地模式。因为您没有使用纱线作为主人。只需尝试对此进行示例测试即可证明这一点。

更多详情见我的回答here

另一种查看方式是 spark ui.. 在环境选项卡中，它将显示有关其运行位置的详细信息...参见屏幕截图。

Answer 2

在这种情况下，它将使用网关节点或主节点的资源。 只有当 master 中提到任何集群管理器（例如 YARN、Mesos 等）时，集群才会发挥作用。