尝试从 Azure Databricks 在 Azure Data Lake 上装载目录时出错答案

【问题标题】：Error when trying to mount a directory on Azure Data Lake from Azure Databricks尝试从 Azure Databricks 在 Azure Data Lake 上装载目录时出错
【发布时间】：2022-08-14 17:47:35
【问题描述】：

许多人在安装 Azure DataLake 容器时遇到问题，而这个问题可能有多个根本原因。

configs = {\"fs.azure.account.auth.type\": \"OAuth\", \"fs.azure.account.oauth.provider.type\": \"org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider\", \"fs.azure.account.oauth2.client.id\": \"client_id\", \"fs.azure.account.oauth2.client.secret\": \"secret_value\", \"fs.azure.account.oauth2.client.endpoint\": \"https://login.microsoftonline.com/tenant_id/oauth2/token\"}

dbutils.fs.mount( 来源 = f\"abfss://aggregated@{account_name}.dfs.core.windows.net/\", mount_point = \"/mnt/aggregated\", extra_configs = 配置）

请注意错误信息。

ExecutionError：调用 o487.mount 时出错。 : 操作失败: \"此请求无权执行此操作。\", 403, HEAD, https://<account_name>.dfs.core.windows.net/aggregated/?upn=false&action=getAccessControl&timeout=90 在 shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.services.AbfsRestOperation.execute（AbfsRestOperation.java:246）在 shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.services.AbfsClient.getAclStatus(AbfsClient.java:955) 在 shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.services.AbfsClient.getAclStatus(AbfsClient.java:937) 在 shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.AzureBlobFileSystemStore.getFileStatus(AzureBlobFileSystemStore.java:893)

标签： databricks azure-databricks azure-data-lake

【解决方案1】：

许多人推荐了解决方案。前提条件之一是添加服务主体，如下所述：https://docs.microsoft.com/en-us/azure/databricks/data/data-sources/azure/adls-gen2/#--mount-an-azure-data-lake-storage-gen2-account-using-a-service-principal-and-oauth-20

如果您的存储帐户没有关联的服务主体，它将无法工作。在这种情况下，许多答案会告诉您检查您的权限和用户配置，因为您的堆栈跟踪中有一个 getAclStatus() 方法。

就我而言， AbfsRestOperation.execute(AbfsRestOperation.java:246) 上的错误消息指出这是防火墙的问题。一旦我为所有公共网络开放了流量，它就起作用了。

【讨论】：

【解决方案2】：

在存储帐户上，在安全+网络页面，单击网络页面，在防火墙和虚拟网络部分下，请检查您是否已从选定的虚拟网络和 IP 地址中选择启用。如果是这种情况，请询问您的网络团队。

问候，

巴尔旺。

【讨论】：