我在 GCP Dataproc 集群上部署了一个 Spark Scala 作业。如何使用 Web UI 将配置文件作为参数传递给 Spark 提交查询？
【问题讨论】：
spark-submit 命令做同样的事情？
标签： google-cloud-platform google-cloud-dataproc
我假设您的意思相当于here 中提到的适用于在 dataproc 集群中运行的 Spark 作业的内容。为此，您必须覆盖默认包含在 dataproc 集群中的 spark-defaults.conf 文件。这必须在集群创建步骤中完成，但无法直接通过 Web UI 完成。相反，您需要在 gcloud dataproc clusters create 命令中将新配置文件作为 --properties 标志的值传递，如下所示：
gcloud dataproc clusters create $CLUSTER_NAME --properties=spark:spark.executor.extraJavaOptions=yourfile.conf
实际上你甚至不必自己开始编写gcloud 命令，你可以在控制台/Web UI“创建集群”视图中填写所有内容，单击底部的“等效命令行”页面，添加 --properties=... 部分并然后从 shell 运行它。
更新
在上面的答案中，我关注的是您想使用配置 file 的事实。但是，如果您确实想通过控制台在作业级别编辑配置参数，您也可以通过提供键：值属性对来实现，这将覆盖spark-defaults.conf 文件中的属性对。
【讨论】：