使用 SparkLauncher 以编程方式将 spark 作业提交到 dse spark 集群答案

【问题标题】：Use SparkLauncher to programmatically submit a spark job to the dse spark cluster使用 SparkLauncher 以编程方式将 spark 作业提交到 dse spark 集群
【发布时间】：2017-04-13 22:28:31
【问题描述】：

我对 Spark 和 DSE 比较陌生，我正在尝试以编程方式将 spark 作业提交到 DSE spark 集群？

我正在使用 org.apache.spark.launcher.SparkLauncher api。我尝试按照 SparkLauncher 的文档进行操作。

Process launcher = new SparkLauncher().setAppName("appName")
                    .setAppResource("spark-job.jar")
                    .setSparkHome("spark-home")
                    .setMainClass("main-class")
                    .setVerbose(true).launch();
launcher.waitFor();

但它似乎没有在 dse 集群上启动作业。我可以使用手动触发作业：dse spark-submit command

将不胜感激这里的任何帮助。谢谢！

【问题讨论】：

标签： apache-spark datastax-enterprise

【解决方案1】：

我相信这与未设置您的 sparkHHome 有关。在 DSE 中识别您的 spark home，然后添加

.setSparkHome("sparkHomeDir")

你宁愿使用 SparkHandle 而不是阻塞等待。

SparkAppHandle handle = launcher.startApplication();

【讨论】：