azure datalake gen2 databricks ACL 权限答案

【问题标题】：azure datalake gen2 databricks ACLs permissionsazure datalake gen2 databricks ACL 权限
【发布时间】：2020-08-09 18:28:28
【问题描述】：

我试图了解为什么我的 ACL 权限在 Databricks 中无法正常工作。

场景：我有 2 个用户。一个对 FileSystem 和具有完全权限的人。其他没有任何权限。

我尝试使用 2 种不同的方法在数据块中安装 Gen2 文件系统。

configs = {"fs.azure.account.auth.type": "OAuth",
           "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
           "fs.azure.account.oauth2.client.id": clientid,
           "fs.azure.account.oauth2.client.secret": credential,
           "fs.azure.account.oauth2.client.endpoint": refresh_url}


dbutils.fs.mount(
  source = "abfss://xyz@abc.dfs.core.windows.net/",
  mount_point = "/mnt/xyz",
  extra_configs = configs)

并使用直通 2.

configs = { 
"fs.azure.account.auth.type": "CustomAccessToken",
"fs.azure.account.custom.token.provider.class": spark.conf.get("spark.databricks.passthrough.adls.gen2.tokenProviderClassName")
}

dbutils.fs.mount(
  source = "abfss://xyz@abc.dfs.core.windows.net/",
  mount_point = "/mnt/xyz",
  extra_configs = configs)

两者都挂载文件系统。但是当我使用时：

dbfs.fs.ls("/mnt/xyz")

它显示对 datalake 没有权限的用户的所有内容文件/文件夹。

如果有人能解释我出了什么问题，我会很高兴。

谢谢

【问题讨论】：

标签： azure databricks azure-databricks azure-data-lake-gen2

【解决方案1】：

这是启用 Azure Data Lake Storage 凭据直通时的预期行为。

注意：当集群启用 Azure Data Lake Storage 凭据直通时，在该集群上运行的命令可以读取和写入 Azure Data Lake Storage 中的数据，而无需用户配置服务主体凭据来访问存储。凭据是根据启动操作的用户自动设置的。

参考：Enable Azure Data Lake Storage credential passthrough for your workspace 和 Simplify Data Lake Access with Azure AD Credential Passthrough。

【讨论】：

如果我的回答对您有帮助，您可以接受它作为答案（单击答案旁边的复选标记，将其从灰色切换为已填充。）。这对其他社区成员可能是有益的。谢谢。

【解决方案2】：

您可能确实忘记在容器的访问控制 (IAM) 中添加权限。

要检查这一点，您可以转到 azure 门户中的容器并单击 Switch to Azure AD User Account。如果您没有权限，您将看到一条错误消息。

例如，您可以添加角色Storage Blob Data Contributor 以具有读写权限。

注意：Datalake 需要几分钟时间来刷新凭据，因此您需要在添加角色后稍等片刻。

【讨论】：