【问题标题】:Programatically importing library to workspace in Databricks以编程方式将库导入 Databricks 中的工作区
【发布时间】:2019-07-12 07:54:46
【问题描述】:

我想以编程方式将 (Python Wheel) 库添加到 Databricks 上的 /Shared 工作区。在 GUI(工作区 > 导入 > 库)中很容易做到,但我不知道如何在 Databricks CLI 中做到这一点。

所以我认为我有两种可能的策略:

  1. 将其安装为库
  2. 将其作为文件复制到工作区

似乎 1) 不可行,因为 library 术语专门用于集群上的实际安装,而 2) 不可行,因为 workspace import 需要语言(Python、R、SQL 等.),并将文件解释为脚本。

所以我对如何处理这个问题有点迷茫。

【问题讨论】:

    标签: databricks azure-databricks


    【解决方案1】:

    根据我的观察:

    注意: databricks workspace import "将文件从本地导入到 Databricks 工作区。"

    我已尝试使用 databricks workspace import cmdlet 并了解它作为文件复制。

    如何使用 Azure Databricks CLI 安装库?

    使用 DBFS CLI 将库从本地目录复制到 DBFS:

    databricks fs cp "C:\Users\Azurewala\Downloads\wheel-0.33.4-py2.py3-none-any.whl" dbfs:/FileStore/jars
    

    使用 API 或 UI 创建集群。

    使用databricks clusters list 获取集群ID 并复制集群ID。

    使用 DBFS CLI 将 DBFS 中的库附加到集群:

    databricks libraries install --cluster-id "0802-090441-honks846" --whl "dbfs:/FileStore/jars/wheel-0.33.4-py2.py3-none-any.whl"
    

    使用 Azure Databricks CLI 成功安装了一个库:

    希望这会有所帮助。

    【讨论】:

      猜你喜欢
      • 2021-05-24
      • 2020-03-15
      • 2018-11-27
      • 1970-01-01
      • 2023-03-27
      • 2017-07-18
      • 1970-01-01
      • 2011-07-24
      • 1970-01-01
      相关资源
      最近更新 更多