Spark 提交默认命令行选项

【问题标题】：Spark Submit Default Command line optionsSpark 提交默认命令行选项
【发布时间】：2020-04-02 06:51:42
【问题描述】：

如何在 Qubole 中更改 Spark Submit Default Command line options 中的参数。

虽然“Spark 提交命令行选项”下有一个选项可以根据需要覆盖这些值，但此选项在 Spark“命令行”中不可用。

【问题讨论】：

【解决方案1】：

如果是 Spark 命令行，您可以在代码本身中传递配置，如下所示：

/usr/lib/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi -- 
master yarn-client /usr/lib/spark/spark-examples*.jar --conf 
spark.executor.instances=2 --conf spark.logConf=true

参考链接：https://docs.qubole.com/en/latest/user-guide/analyze/compose-spark.html#compose-a-spark-application-using-the-command-line

【讨论】：