【问题标题】:How to download an installed dbfs jar file from databricks cluster to local machine?如何将已安装的 dbfs jar 文件从 databricks 集群下载到本地机器?
【发布时间】:2020-09-01 12:17:13
【问题描述】:

我是 Databricks 的新手,我希望将已安装的 Databricks 集群库下载到我的本地计算机上。你能帮我解决这个问题吗?

因此,详细说明一下,我已经有一个正在运行的集群,上面已经安装了库。我需要将其中一些库(它们是 dbfs jar 文件)下载到我的本地机器上。实际上,我一直在尝试通过 databricks-cli 使用 '''dbfs cp''' 命令,但这不起作用。它没有给出任何错误,但它也没有做任何事情。我希望这能澄清一些事情。

【问题讨论】:

  • 你能详细说明你的问题吗?你最终想达到什么目标,到目前为止你做了什么?

标签: databricks azure-databricks databricks-connect


【解决方案1】:

注意:当您通过Jars、Maven、PyPI 安装库时,这些库位于文件夹路径dbfs:/FileStore。

  • 对于位于 - dbfs:/FileStore/jars 的交互式集群 Jar
  • 对于位于 - dbfs:/FileStore/job-jars 的自动化集群 Jar

有几种方法可以将已安装的 dbfs jar 文件从 databricks 集群下载到本地机器。

GUI方法:可以使用DBFS Explorer

DBFS Explorer 是一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快捷方式。这将适用于 AWS 和 Azure 的 Databricks 实例。

您需要在 Web 界面中创建一个不记名令牌才能连接。

第 1 步: 从此处下载 DBFS 资源管理器:https://datathirst.net/projects/dbfs-explorer 并安装。

第二步:如何创建不记名令牌?

  • 点击右上角的用户个人资料图标用户个人资料 您的 Databricks 工作区。

  • 点击用户设置。

  • 转到访问令牌选项卡。

  • 点击生成新令牌按钮。

注意:复制生成的令牌并存储在安全位置。

步骤 3: 打开 Databricks 的 DBFS 资源管理器并输入 Host URL 和 Bearer Token 并继续。

第四步:导航到名为FileStore的DBFS文件夹=>jars=>选择你要下载的jar,点击下载,选择本地机器上的文件夹。

CLI 方法:您可以使用 Databricks CLI

第 1 步:安装 Databricks CLI,使用您的 Databricks 凭据对其进行配置。

第 2 步:使用 CLI“dbfs cp”命令将文件复制到 DBFS 或从 DBFS 复制文件。

语法: dbfs cp <SOURCE> <DESTINATION>

示例: dbfs cp "dbfs:/FileStore/azure.txt" "C:\Users\Name\Downloads\"

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-07-19
    • 1970-01-01
    • 2020-03-03
    相关资源
    最近更新 更多