【问题标题】:Programatically importing library to workspace in Databricks以编程方式将库导入 Databricks 中的工作区
【发布时间】:2019-07-12 07:54:46
【问题描述】:
我想以编程方式将 (Python Wheel) 库添加到 Databricks 上的 /Shared 工作区。在 GUI(工作区 > 导入 > 库)中很容易做到,但我不知道如何在 Databricks CLI 中做到这一点。
所以我认为我有两种可能的策略:
- 将其安装为库
- 将其作为文件复制到工作区
似乎 1) 不可行,因为 library 术语专门用于集群上的实际安装,而 2) 不可行,因为 workspace import 需要语言(Python、R、SQL 等.),并将文件解释为脚本。
所以我对如何处理这个问题有点迷茫。
【问题讨论】:
标签:
databricks
azure-databricks
【解决方案1】:
根据我的观察:
注意: databricks workspace import "将文件从本地导入到 Databricks 工作区。"
我已尝试使用 databricks workspace import cmdlet 并了解它作为文件复制。
如何使用 Azure Databricks CLI 安装库?
使用 DBFS CLI 将库从本地目录复制到 DBFS:
databricks fs cp "C:\Users\Azurewala\Downloads\wheel-0.33.4-py2.py3-none-any.whl" dbfs:/FileStore/jars
使用 API 或 UI 创建集群。
使用databricks clusters list 获取集群ID 并复制集群ID。
使用 DBFS CLI 将 DBFS 中的库附加到集群:
databricks libraries install --cluster-id "0802-090441-honks846" --whl "dbfs:/FileStore/jars/wheel-0.33.4-py2.py3-none-any.whl"
使用 Azure Databricks CLI 成功安装了一个库:
希望这会有所帮助。