为什么 dataproc 不能识别参数：spark.submit.deployMode=cluster？

Question

我正在通过这种方式向 dataproc 提交 Spark 作业：

gcloud dataproc 作业提交 spark --cluster=$CLUSTER --region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11： 0.19.1, spark.submit.deployMode=cluster --class path.to.my.main.class --jars=path.to.jars -- "-p" "some_arg" "- z" "some_other_arg"

但我收到此错误：

错误：（gcloud.dataproc.jobs.submit.spark）无法识别的参数： spark.submit.deployMode=集群

知道为什么吗？提前感谢您的帮助。

这种方式可以正常工作（没有集群模式）：

gcloud dataproc 作业提交 spark --cluster=$CLUSTER --region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11： 0.19.1 --class path.to.my.main.class --jars=path.to.jars -- "-p" "some_arg" "-z" "some_other_arg"

Answer 1

您似乎在第一个属性和第二个属性之间有一个空格。要么删除它，要么用引号将它们都括起来。

另一种选择是将其替换为

--packages com.google.cloud.spark:spark-bigquery-with-dependencies_2.11:0.19.1 --properties spark.submit.deployMode=cluster