从 Databricks 访问 ADLS Gen 2 存储答案

【问题标题】：Accessing ADLS Gen 2 storage from Databricks从 Databricks 访问 ADLS Gen 2 存储
【发布时间】：2020-12-24 03:08:07
【问题描述】：

我正在尝试使用 Python 从 Databricks Notebook 读取 ADLS Gen 2 存储中的文件。

然而，存储容器的公共访问级别设置为“私有”。

我有存储帐户参与者和存储 Blob 数据参与者访问权限。

如何允许 Databricks 读取和写入 ADLS 存储？

【问题讨论】：

你有提到docs.microsoft.com/en-us/azure/databricks/data/data-sources/…和docs.microsoft.com/en-us/azure/storage/blobs/…
请编辑您的问题以显示您在笔记本中所做的工作，尤其是您连接到 ADLS 所采用的方法。

标签： python-3.x azure azure-databricks azure-data-lake-gen2

【解决方案1】：

根据您提供的信息，Storage Account Contributor 已分配给您的帐户。您有权获取存储帐户访问密钥。所以我们可以使用访问密钥进行身份验证，然后我们可以读取和写入 ADLS Gen 2 存储。更多详情请参考here

例如

spark.conf.set(
  "fs.azure.account.key.<storage-account-name>.dfs.core.windows.net",
  dbutils.secrets.get(scope="<scope-name>",key="<storage-account-access-key-name>"))
dbutils.fs.ls("abfss://<file-system-name>@<storage-account-name>.dfs.core.windows.net/<directory-name>")

【讨论】：