【发布时间】：2020-06-27 08:05:43
【问题描述】：
我是 spark 新手，我们需要设置一个动态 spark 集群来运行多个作业。通过参考一些文章，我们可以通过使用 EMR (Amazon) 服务来实现这一点。 有什么方法可以在本地完成相同的设置吗？ 一旦 Spark 集群可以在不同服务器上的不同端口上运行服务，如何将雾指向每个作业的新 Spark 集群。 提前致谢。
【问题讨论】：
标签： apache-spark spark-streaming
【发布时间】：2020-06-27 08:05:43
【问题描述】：
是的，您可以使用 Spark 提供的 Standalone 集群，您可以在其中设置 Spark 集群（主节点和从节点）。还有一些 docker 容器可以用来实现这一点。看看here。
采用和部署本地 Hadoop 生态系统的其他选项，例如 MapR、Hortonworks、Cloudera。
【讨论】：
-
创建了一个独立的 spark 集群，并且能够毫无问题地运行单个作业。以下是详细信息。 Spark 版本：spark-2.4.5 Mist 版本：mist-1.1.1 现在我们的主要要求是运行多个作业。您能否建议我如何并行运行多个作业。