Databricks 从包含等号 (=) 符号的路径加载文件

Question

我希望将 Azure Monitor 数据从 Log Analytics 导出到存储帐户，并使用 PySpark 将 JSON 文件读入 Databricks。

Log Analytics 导出的 blob 路径包含一个等号 (=) 并且在使用该路径时 Databricks 抛出和异常。

WorkspaceResourceId=/subscriptions/subscription-id/resourcegroups/<resource-group>/providers/microsoft.operationalinsights/workspaces/<workspace>/y=<four-digit numeric year>/m=<two-digit numeric month>/d=<two-digit numeric day>/h=<two-digit 24-hour clock hour>/m=<two-digit 60-minute clock minute>/PT05M.json

Log Analytics Data Export

有没有办法转义等号，以便可以从 blob 位置加载 JSON 文件？

Answer 1

我尝试了参考微软文档的类似用例，以下是步骤：

1. 安装存储容器。我们可以用下面的python代码来做，确保你传递的所有参数都是正确的，因为不正确的参数会导致多个不同的错误。

    dbutils.fs.mount(
          source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
          mount_point = "/mnt/<mount-name>",
          extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})
   

   以下是参数说明：

   • <storage-account-name> 是你的 Azure Blob 存储帐户的名称。
   • <container-name> 是 Azure Blob 存储帐户中容器的名称。
   • <mount-name> 是一个 DBFS 路径，表示 Blob 存储容器或容器内的文件夹（在 source 中指定）将在 DBFS 中挂载的位置。
   • <conf-key> 可以是 fs.azure.account.key.<storage-account-name>.blob.core.windows.net 或 fs.azure.sas.<container-name>.<storage-account-name>.blob.core.windows.net
   • dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>") 获取已作为secret 存储在secret scope 中的密钥。

2. 然后你可以访问这些文件如下：

    df = spark.read.text("/mnt/<mount-name>/...")
    df = spark.read.text("dbfs:/<mount-name>/...")
   

还有多种访问文件的方式，doc中都明确提到了。

并检查此 Log Analytics 工作区 doc 以了解有关将数据导出到 Azure 存储的信息。