从 Azure Databricks 下载通过 Python 代码写入 DBFS 的文件

Question

如何将 DBFS 中的文件下载到本地系统？该文件是从 Databricks Notebook 创建的。

Answer 1

关注here的讨论

或者您可以简单地设置 databricks cli 并使用 dbfs cli 您可以轻松地将文件复制到 dbfs 或从 dbfs 复制文件。

有关该命令的更多信息，请参阅官方文档： https://docs.databricks.com/dev-tools/cli/dbfs-cli.html

Answer 2

方法 1：使用 Databricks 门户 GUI，您可以下载完整结果（最多 100 万行）。

要下载完整结果，首先将文件保存到 dbfs，然后使用 Databricks cli 将文件复制到本地计算机，如下所示。

dbfs cp "dbfs:/FileStore/tables/my_my.csv" "A:\AzureAnalytics"

您可以使用 DBFS CLI、DBFS API、Databricks 文件系统实用程序 (dbutils.fs)、Spark API 和本地文件 API 访问 DBFS 对象。

在 Spark 集群中，您可以使用 Databricks 文件系统实用程序、Spark API 或本地文件 API 访问 DBFS 对象。

在本地计算机上，您可以使用 Databricks CLI 或 DBFS API 访问 DBFS 对象。

参考：Azure Databricks – Access DBFS

方法2：使用Databricks CLI

DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开易于使用的命令行界面。使用此客户端，您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 进行交互。例如：

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

参考：Installing and configuring Azure Databricks CLI

方法3：使用名为DBFS Explorer的第三方工具

DBFS Explorer 是一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快捷方式。这将适用于 Databricks 的 AWS 和 Azure 实例。您需要在 Web 界面中创建一个不记名令牌才能连接。