如何使用 R 在 Azure Databricks 上的数据湖文件系统中列出子目录答案

【问题标题】：How to list sub-directories in a data lake file system on Azure Databricks using R如何使用 R 在 Azure Databricks 上的数据湖文件系统中列出子目录
【发布时间】：2019-09-02 17:05:46
【问题描述】：

我正在使用 Azure 数据块中的 R-notebook。使用 AzureStor 包，我可以列出数据湖中的对象名称或其中的文件系统，分别如下：

 endPoint <- AzureStor::adls_endpoint(endpoint = "https://<myStorageName>.dfs.core.windows.net" ,key = <myStorageKey>)
 storage_containers <- AzureStor::list_storage_containers(endPoint)

 paste0("https://", myStorageName,".dfs.core.windows.net/", names(storage_containers)[1]) -> path2fs
 myFileSys <- AzureStor::adls_filesystem(path2fs, key)
 AzureStor::list_adls_files(myFileSys, "/")

这给了我一个 R data.frame，其中包含有关内容“名称”的信息以及一个列“isDirectory”。

如果“isDirectory”为真，我想看看这个目录的内容。这是如何运作的？尝试将新端点设置为

 endPoint <- AzureStor::adls_endpoint(endpoint = "https://<myStorageName>.dfs.core.windows.net/<myDirectoryName>" ,key = <myStorageKey>)

失败。

那么，当结构类似于 DataLake -> 文件系统 -> 目录 -> 目录和文件 -> 目录和文件 -> ...等？

【问题讨论】：

标签： r sparkr azure-databricks

【解决方案1】：

我的问题的答案就是设置recursive = TRUE，所以：

 list_adls_files(myFileSys, dir = "/", info = "all", recursive = TRUE)

有时候就这么简单！

【讨论】：