【问题标题】:Azure databricks cluster don't have acces to mounted adls2Azure databricks 群集无权访问已安装的 adls 2
【发布时间】:2021-11-26 05:16:59
【问题描述】:

我按照文档 azure-datalake-gen2-sp-access 安装了一个 ADLS2 存储在 databricks 中,但是当我尝试从 GUI 中查看数据时,我得到了下一个错误:

集群 easy-matches-cluster-001 没有正确的凭据来查看内容。请选择另一个集群。

我没有找到任何文档,只有一些关于高级数据块的内容,所以我只能使用高级数据块资源访问?

Edit1:我可以使用 dbutils 查看已安装的存储。

【问题讨论】:

  • 在尝试通过 GUI 访问之前,您能否尝试根据以下命令列出挂载位置:display(dbutils.fs.mounts()) 并查看您的文件夹是否在我们那里列出
  • 您使用的是什么版本的 Databricks Runtime?可以直接试试 Access ADLS Gen2 吗?
  • 嗨@KarthikBhyresh-MT 我可以直接访问存储我拥有所有资源的管理员访问权限,版本是'9.0.x-scala2.12'
  • 嗨 @KarthikeyanRasipalayDurairaj 我可以看到 dbutil 我编辑了问题以显示证据
  • @AndrésBustamante - 试试吧。你能确保,相同的位置没有安装在 2 个不同的 /mnt 位置,然后尝试卸载并再次安装。请参考 - stackoverflow.com/questions/58996954/…

标签: azure azure-databricks azure-data-lake-gen2


【解决方案1】:

挂载存储帐户后,请运行此命令检查您是否对创建的挂载点具有数据访问权限。

dbutils.fs.ls("/mnt/<mount-point>")
  • 如果您有数据访问权限 - 您将看到存储中的文件 帐户。
  • 如果您没有数据访问权限 - 您将收到此错误 - “此请求无权使用此权限执行此操作”,403。

如果您可以挂载存储但无法访问,请检查 ADLS2 帐户是否分配了必要的角色。

我能够复制相同的内容。由于您使用的是 Azure Active Directory 应用程序,因此您还必须将“Storage Blob Data Contributor”角色分配给 Azure Active Directory 应用程序。

以下是在注册的应用程序上授予 blob 数据贡献者角色的步骤

1. 选择您的 ADLS 帐户。导航到访问控制 (IAM)。 选择添加角色分配。

2.选择角色Storage Blob Data Contributor,搜索并选择您注册的Azure Active Directory应用并分配。

返回访问控制 (IAM) 选项卡,search 用于您的 AAD 应用并检查访问权限。

3.运行dbutils.fs.ls("/mnt/&lt;mount-point&gt;")确认访问。

【讨论】:

  • 嗨伙计,是的,因为它的标准版本我使用“所有用户”选项,另一个给我一个错误
猜你喜欢
  • 1970-01-01
  • 2020-07-19
  • 1970-01-01
  • 2021-10-08
  • 2021-06-22
  • 2021-11-25
  • 2021-08-05
  • 2021-05-31
  • 2020-07-19
相关资源
最近更新 更多