【问题标题】:Retrieve Databricks Job data检索 Databricks 作业数据
【发布时间】:2022-11-23 15:57:18
【问题描述】:

我有一个通过 Azure 的 Databricks 工作区,我使用 Databricks Job API 运行一些创建文件的 python 脚本。

我想知道我是否可以检索作业完成运行后创建的这些文件。

  • 在 Azure 中,我看到一个与数据块工作区关联的存储帐户,在容器中有一个“作业”条目。当我尝试访问它时,出现 DenyAssignmentAuthorizationFailed 错误。我是组织管理员,所以获得正确的权限应该不是问题,尽管我不知道为什么我还没有访问权限并认为这是数据块的事情。
  • 我尝试使用谷歌搜索和查看 Azure 的文档,但令人惊讶的是,关于 Databricks Jobs 或其数据存储的文档很少。

【问题讨论】:

  • 您能否提供其他详细信息,例如运行 python 脚本的 databricks API 代码、示例 python 脚本以及您可以在存储帐户中的何处查看这些文件?

标签: azure databricks


【解决方案1】:

建议创建一个独立于 DBFS 的存储帐户来存放新创建的文件或外部文件。您可以修改脚本以写入该特定存储帐户或在其创建后进行复制。这就是我们使用它的方式。写入 DBFS 没有错。

在任何情况下,请参考连接到 Azure ADLS/BLOB 存储的链接。

https://docs.databricks.com/external-data/azure-storage.html

它列出了几种身份验证方法,评估您认为最安全的方法并继续使用该选项。

希望能帮助到你...

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2019-01-29
    • 1970-01-01
    • 2022-12-03
    • 1970-01-01
    • 2021-08-08
    • 1970-01-01
    • 2022-10-12
    • 2018-09-20
    相关资源
    最近更新 更多