SparkLauncher 不会打开第二个火花进程答案

【问题标题】：SparkLauncher wont open a second spark processSparkLauncher 不会打开第二个火花进程
【发布时间】：2018-03-12 18:19:12
【问题描述】：

我编写了一个监听 kafka 主题的 Spark 应用程序。

接收到的消息包含一个主题名称和一个 parquet 路径，每当消息到达时，应用程序都会打开一个新的 Spark 进程，该进程侦听接收到的 Kafka 主题并将传入数据写入接收到的 parquet 路径。

我在本地 PC 上进行了尝试，并设法打开了几个监听不同主题的进程。

当我在云上运行 JAR 时，第一个进程打开并按预期工作，但是当我尝试打开第二个进程时，它没有打开。

这就是我打开火花过程的方式：

val spark = new SparkLauncher()
                  .setAppResource(jarPath)
                  .setMainClass("Namespace.ClassName")
                  .setAppName("Name"+topicName)
                  .AddAppArgs(topicName, parquetName)
                  .StartApplication();

【问题讨论】：

标签： apache-spark apache-kafka

【解决方案1】：

我目前没有集群来测试它，但也许......使用：

.setMaster

和

.setDeployMode

【讨论】：