Dataproc gcloud default_config 权限被拒绝错误答案

【问题标题】：Dataproc gcloud default_config permission denied errorDataproc gcloud default_config 权限被拒绝错误
【发布时间】：2020-07-01 07:23:11
【问题描述】：

我们的项目正在使用 dataproc，并且我检查了主计算引擎和工作计算引擎中指示的服务帐户，它具有我的存储桶存储所需的权限。不过，在日志查看器中，我看到了以下内容：

(gsutil) 未能创建默认配置。确保您对 [/home/.config/gcloud/configurations] 具有正确的权限。无法创建目录 [/home/.config/gcloud/configurations]：权限被拒绝。请验证您是否有权写入父目录。

我可以做些什么来解决这个问题？我应该从这个存储桶中下载一些文件并使用 gsutil 来执行此操作。

PS：我已经尝试使用 action.sh 来找出登录的用户，但没有任何结果。

PS2：我们正在使用 SparkSession 进行此操作。

【问题讨论】：

【解决方案1】：

gsutil 权限错误与 IAM 权限无关，而是与 Linux 用户权限有关。您可以通过 SSH 连接到虚拟机并检查您是否有权创建文件夹？您也可以运行gsutil ... 来测试该命令。

【讨论】：

项目一部分使用gsutil下载csv并使用spark使用。我已经复制了那部分，并创建了一个新项目，我们称之为 B。对于 B，gsutil 没有问题，但对于主项目，我一直收到同样的错误。两者都使用同一个集群。
所以您的意思是您在火花作业中使用 gsutil？对 gsutil 的调用是在驱动程序还是执行程序中运行？
是的，我们在 spark 作业中使用 gsutil。我无法理解部分驱动程序和执行程序。你是说主人和工人吗？
一些spark代码运行在spark driver中，例如init spark session和其他init；一些代码在 spark executors 中运行，例如读写数据，转换。
在Spark中我们通常使用GCS连接器来访问GCS，默认是可用的。

【解决方案2】：

打开google cloud的support ticket后，显示这是Unix权限错误，他们建议我使用gcs-connector，它正在工作。

【讨论】：