将文件添加到 dataproc 上的 spark 驱动程序类路径文件答案

【问题标题】：add file to spark driver classpath file on dataproc将文件添加到 dataproc 上的 spark 驱动程序类路径文件
【发布时间】：2016-06-07 10:21:28
【问题描述】：

我需要在 google dataproc 上的驱动程序 spark 类路径中添加一个配置文件。

我尝试使用gcloud dataproc jobs submit spark 的--files 选项，但这不起作用。

有没有办法在 google dataproc 上做到这一点？

【问题讨论】：

见stackoverflow.com/questions/58238269/…

标签： apache-spark google-cloud-dataproc

【解决方案1】：

在 Dataproc 中，列为 --jar 的任何内容都将添加到类路径中，列为 --file 的任何内容都将在每个 spark 执行器的工作目录中可用。即使标志是 --jars，如果您要求文件位于类路径中，将非 jar 条目放在此列表中应该是安全的。

【讨论】：

【解决方案2】：

我知道，我回答太晚了。为新访客发帖。

可以使用云外壳执行此操作。已经测试过了。

gcloud dataproc jobs submit spark --properties spark.dynamicAllocation.enabled=false --cluster=<cluster_name> --class com.test.PropertiesFileAccess --region=<CLUSTER_REGION> --files gs://<BUCKET>/prod.predleads.properties --jars gs://<BUCKET>/snowflake-common-3.1.34.jar

【讨论】：

如果我需要访问该文件，并用它来激发程序，我该怎么做？我可以直接参考桶吗？还是只是文件名？