我可以使用 Apache Spark Standalone 版本分发工作吗？

Question

我听到人们谈论“Apache 独立集群”，这让我感到困惑，因为我将“集群”理解为通过潜在的快速网络连接并并行工作的各种机器，而“独立”作为机器或程序孤立。所以问题是，Apache Standalone 可以跨网络进行分布式工作吗？如果可以，那么与非独立版本有什么区别？

Answer 1

Standalone（不要误认为是本地）在 Spark 中意味着您不使用外部资源管理（YARN、Mesos），而是使用 Spark 自己的资源管理实用程序。它可以与 Spark 在其他集群管理器上的分布方式相同。

local 模式下的 Spark 在单个 JVM 上运行。它不能分布式（但是，在单台机器的限制下仍然与线程和进程并行）仅对开发有用。