启动并提交作业火花

Question

我尝试“运行”我的 java 应用程序宽度的 spark 作业，搜索，我发现了以下两种方法： ClientsArguments 和 SparkLauncher。

谁能解释一下两者的区别？启动和提交作业/应用程序 Spark 的区别？ 谢谢。

Answer 1

SparkLauncher 只是spark-submit 的包装库，它将您的SparkLauncher 代码转换为spark-submit 脚本，然后触发作业。

机制与spark-submit脚本相同，看SparkLauncher的源码，它使用ProcessBuilder构造shell。

如果要使用SparkLauncher，需要指定$JAVA_HOME、$SPRAK_HOME等必要参数。 SparkLauncher 有一些限制，SparkLauncher 运行的机器必须有一个 $JAVA_HOME 和 $SPARK_HOME(Spark 库)，用于 SparkLauncher 定位 脚本 和相关依赖项.这对于 CloudFoundry 等云环境来说是不可能的。

您可以假设SparkLauncher 等于spark-submit 脚本，您可以选择客户端或主控、本地或纱线模式。

ClientsArguments 是 YARN 脚本类，仅适用于 yarn-mode。