此请求无权使用此权限执行此操作

Question

我正在尝试使用以下配置在 dattabricks 中安装 adls gen2

configs = {"fs.azure.account.auth.type": "OAuth",
   "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
   "fs.azure.account.oauth2.client.id": "service principal id",
   "fs.azure.account.oauth2.client.secret": "service principal key",
   "fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/tenant-id/oauth2/token",
   "fs.azure.createRemoteFileSystemDuringInitialization": "true"}
dbutils.fs.mount(
source = "abfss://file-system@storage-account.dfs.core.windows.net/directory",
mount_point = "/mnt/data",
extra_configs = configs)

我已经创建了服务主体并为其创建了密钥，然后在 Active Directory 角色分配中向该服务主体提供了存储 blob 角色

根据文件

"abfss://<your-file-system-name>@<your-storage-account-name>.dfs.core.windows.net/<your-directory-name>"

blob 容器内的 your-file-system ==> 文件夹应该是什么？ you-directory-name ==> 我在 blob 容器中只有一个文件夹，所以在这里混淆 storgae（ADLS gen 2 预览版） Blob 容器 文件夹 一个.txt

错误

---

ExecutionError：调用 o480.mount 时出错。 负责人https://xxxxxxxxx.dfs.core.windows.net/xxxxxx?resource=filesystem&timeout=90 状态码=403 StatusDescription=此请求无权使用此权限执行此操作。 错误代码= 错误消息= 在 shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.services.AbfsRestOperation.execute(AbfsRestOperation.java:134) 在 shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.services.AbfsClient.getFilesystemProperties(AbfsClient.java:197) 在 shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.AzureBlobFileSystemStore.getFilesystemProperties(AzureBlobFileSystemStore.java:214) 在 shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem.fileSystemExists(AzureBlobFileSystem.java:749) 在 shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem.initialize(AzureBlobFileSystem.java:110) 在 com.databricks.backend.daemon.dbutils.DBUtilsCore.verifyAzureFileSystem(DBUtilsCore.scala:485) 在 com.databricks.backend.daemon.dbutils.DBUtilsCore.mount(DBUtilsCore.scala:435) 在 sun.reflect.GeneratedMethodAccessor400.invoke（未知来源） 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:498) 在 py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:244） 在 py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:380） 在 py4j.Gateway.invoke(Gateway.java:295) 在 py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) 在 py4j.commands.CallCommand.execute(CallCommand.java:79) 在 py4j.GatewayConnection.run（GatewayConnection.java:251） 在 java.lang.Thread.run(Thread.java:748)

Answer 1

Gen2 湖没有容器，它们有文件系统（这是一个非常相似的概念）。

您是否在您的存储帐户上启用了“分层命名空间”功能？您可以在存储帐户的配置刀片中看到这一点。如果您有，则存储帐户是 Lake Gen2 - 如果不是，它只是一个 blob 存储帐户，您需要按照说明使用 blob 存储。

假设您已经设置了该功能，那么您可以看到 FileSystems 刀片 - 您可以在其中创建文件系统，其方式与 blob 容器非常相似。这是您在 abfss URL 开头需要的名称。

但是，您收到的错误消息向我表明您的服务主体没有数据湖的权限。您应该使用存储帐户资源的 RBAC 角色授予权限（添加到存储帐户参与者或读者）。或者使用存储资源管理器在更精细的级别授予权限。

请记住，数据湖需要对从根目录到您尝试读取/写入的文件夹的每个文件夹的执行权限。作为测试，首先尝试从根目录读取文件。

Answer 2

我们遇到了类似的错误，使用 RBAC 我们已将所有者角色授予存储帐户上的服务主体，但它不起作用，您必须授予此处列出的角色才能访问目录/容器：https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-access-control-model#role-based-access-control-azure-rbac

Answer 3

我刚刚解决了这个问题，并更正了这个设置名称：

"fs.azure.account.oauth.provider.type"

到

"fs.azure.account.oauth2.provider.type"

执行成功。